hadoop网盘环境搭建，代码全部过程

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546专业:软件工程 班级：15-01班 手机：17863087272 姓名：苗纯源学号：201500800524专业:软件工程 班级：15-01班 手机：17863085895 项目 起评分 流畅性 美观性 回答问题 安装步骤 编程风格 要求 达到题目基本要求 程序运行过程完整流畅，能清楚说明问题 程序界面美观舒适 能正确回答老师就代码和程序设计的问题 清晰明了 程序书写正规，程序注释完整规范 满分 50 10 10 10 10 10 总评 实际得分 Part1、安装说明

一、虚拟机和linux系统的安装

我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso

(1) 安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网

上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。

1 / 53

(2) 安装linux系统，打开虚拟机，点击文件->新建虚拟机，选择自定义，下一步，

为了防止版本问题，这里选择硬件兼容性为10.x，选择linux系统镜像的路径，设置linux系统的用户名和密码然后点击下一步，处理机数量选择1个即可，内存暂时设置为1g，若以后内存不够可以再修改，网络类型选择NAT，剩下的均为默认设置，一直下一步直到完成。

完成之后打开该新建的虚拟机，虚拟机会自动安装linux操作系统，等待其安装。安装完成之后输入用户名和密码登录到linux系统中。

(3) 关闭防火墙和selinux

学习环境可以直接把防火墙关闭掉

(1) 用root用户登录后，执行查看防火墙状态。

shell命令为: service iptables status

2 / 53

(2) 用service iptables stop关闭防火墙，这个是临时关闭防火墙。

(3) 如果要永久关闭防火墙用。

chkconfig iptables off

selinux是Linux一个子安全机制，学习环境可以将它禁用。

用命令vim /etc/sysconfig/selinux打开文件设置SELINUX为disabled。

二、Hadoop开发环境的搭建

1、3台主机的hostname修改和Ip地址绑定(三台主机均以root用户登录) （1）3台主机的基本网络环境

CentOS6，64位，在虚拟机下实现。

在虚拟机下安装了一

个centos6系统，然后克隆该虚拟机为3个虚拟机，其Ip地址和主机名分别如下： 192.198.162.133hadoop 192.168.162.131hadoop0 192.168.162.132hadoop1

3 / 53

(2)IP地址与hostname绑定

在hadoop主机下，在控制台中输入vi /etc/sysconfig/network，将hostname修改

为hadoop，在hadoop0主机下操作类似，将HOSTNAME修改为hadoop0；在hadoop1主机下操作类似，将HOSTNAME修改为hadoop1。

在hadoop主机下，输入：vi /etc/hosts，在hosts下添加如下内容

192.168.162.133 hadoop

4 / 53

192.168.162.131 hadoop0 192.168.162.132 hadoop1

然后通过scp命令，将修改好的hosts复制到hadoop0和hadoop1的/etc/hosts文件夹下覆盖：

scp /etc/hosts root@hadoop0:/etc/hosts scp /etc/hosts root@hadoop1:/etc/hosts

（3）测试3太主机之间是否能Ping通 在3台主机下分别输入： ping hadoop ping hadoop0 ping hadoop1

如果3太主机都能ping通，那说明前面的配置成功

2、SSH免密码登录

在hadoop主机下：

(1) 查看当前用户下(root)是否有.ssh的隐藏文件，如果没有就创建一个

5 / 53