搭建docker hadoop环境

OJHVal 8年前

来自： http://www.cnblogs.com/Qingluan/p/5188160.html

搭建Docker-Hadoop基础环境

[TOC]

简介

因为很难真正的有一个集群环境。在一般的条件下想要模拟hadoop集群的话，我只好选择docker

关于docker的简介我就不在这里写了。

详细可以看 http://www.docker.com [^ps1]

我的项目地址 http://git.oschina.net/dark.H/DDataAny

Dockerfile 文件和必要的打包文件都在我的项目里面

步骤

搭建Docker image

hadoop我使用的基础image是 ubuntu ，其实主要需要的环境如下

  • JDK#7
  • hadoop#2.6
  • ssh

所以在基础的 images中我们需要做的是把上述的依赖安装上

其次配置一下环境

  • 安装docker

首先需要安装 docker 

apt-get install  docker-io lxc

安装完后一般会默认配置好网卡创建一个用作docker 的集群使用的子网。但如果有问题的话，需要自己手动配置

# 主要就是一下两条就可以完成配置，具体参见我的其他blog,或者google ，baidu   ip route add xxx   ip addr add xxx
  • 下载一个ubuntu images
docker pull ubuntu

或者使用我的ubuntu

wget -q  http://git.oschina.net/dark.H/DDataAny/tree/master/resource/ubuntu.tar && sleep 1 && cut ubuntu.tar | docker load
  • 使用Dockerfile 生成新的包含所有依赖的image

通过一个较小的ubuntu image 和dockerfile 生成一个新的image 我们取名为 qingluan/hadoop

docker build -t qingluan/hadoop

..待续

注释

</div>

相关经验