hadoop网盘环境搭建，代码全部过程(2)

命令为mkdir .ssh

(2)生成公钥

输入ssh-keygen -t rsa -P '' (注：最后是二个单引号，表示不设置密码) 然后分发公钥到目标机器

ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop0 (注意不要忘记了参数-i)

(3)验证SSH是否安装成功，以及是否可以免密码登陆本机

ssh localhost ssh hadoop0 ssh hadoop1

6 / 53

在第一次登陆是需要密码，以后则不要。到此，ssh的免密码登陆完成 附:如果失败，有可能是以下原因(在配置过程中我们遇到的是第一种情况，权限不足)： 1、权限问题

.ssh目录，以及/home/当前用户 需要700权限，参考以下操作调整 sudo chmod 700 ~/.ssh

sudo chmod 700 /home/当前用户

.ssh目录下的authorized_keys文件需要600或644权限，参考以下操作调整

sudo chmod 600 ~/.ssh/authorized_keys 2、StrictModes问题 编辑

sudo vi /etc/ssh/sshd_config 找到

7 / 53

#StrictModes yes 改成

StrictModes no

如果还不行，可以用ssh -vvv 目标机器ip 查看详情，根据输出内容具体问题具体分析了

参考网址:https://www.cnblogs.com/yjmyzz/p/4481720.html

3、安装和配置hadoop

（1）解压安装hadoop2.9.0

在hadoop主机下：

下载并将hadoop-2.9.0.tar.gz解压到当前用户目录下（/usr/local） tar -zxvf hadoop-2.9.0.tar.gz

然后将hadoop文件夹重命名为hadoop。

（2）配置hadoop

在hadoop主机下：

进入hadoop文件夹下的etc文件夹下的hadoop文件夹，修改配置文件。 1.指定jdk安装位置： Hadoop-env.sh:

export JAVA_HOME=/root/jdk1.8/jdk1.8.0_171 2.hadoop核心配置文件，配置HDFS地址和段口号。 core-site.xml

8 / 53

fs.default.name hdfs://hadoop:9000

hadoop.tmp.dir /usr/local/hadoop/tmp

3.hdfs-site.xml，默认的配置方式是3，这里表示副本数是3，由于我们搭建的子节点只有2个，所以输入1或2 hdfs-site.xml

dfs.replication 2

dfs.permissions false

3.1修改core-default.xml文件，不然在之后的eclipse编程时会出现

9 / 53

filesysnotexist “hdfs”的错误,该文件在hadoop安装目录下的/share/doc/Hadoop/hadoop-project-dist/hadoop-common/下

fs.hdfs.impl

org.apache.hadoop.hdfs.DistributedFileSystem The FileSystem for hdfs: uris.

4.配置MapReduce文件，配置JobTracker的地址和端口 mapred-site.xml

mapred.job.tracker hadoop:9001

5‘修改masters文件，如果没有就创一个空白文件改名为masters。 在其中写入hadoop 6.修改slaves文件 写入hadoop0

hadoop1

7.然后将hadoop文件夹复制到另外2台主机。

scp -R /uer/local/hadoop root@hadoop0:/uer/local /hadoop

10 / 53