hadoop网盘环境搭建，代码全部过程(3)

scp -R /uer/local/hadoop root@hadoop1:/uer/local /Hadoop 8. 修改环境变量 vi /etc/profile

export JAVA_HOME=/root/jdk1.8/jdk1.8.0_171 export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 同样，将profile复制到另外两台主机上 scp /etc/profile root@hadoop0:/etc/ scp /etc/profile root@hadoop1:/etc/ 注意请先使用source /etc/profile更新命令

（3）启动hadoop

在hadoop下： 输入:

hadoop namenode -format

然后通过start-all.sh启动所有进程：

.进入到$HADOOP_HOME/sbin目录下启动start-all.sh

可以通过jps命令来查看运行的进程, 如果成功运行，那么将会有如下显示

11 / 53

在hadoop0和hadoop1的shell中输入jps也会有3个运行，其中datanode一定要检查是否存在，如果不存在说明配置存在问题。

附:在配置中，我们遇到datanode无法启动的问题，经查阅后了解到是由于我们使用的是64位linux系统，需要下载对应的64位编译版本替换原来的native文件，下载对应文件后，将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下：然后增加环境变量：vi /etc/profile增加下面的内容：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS=\让环境变量生效source /etc/profile

自检hadoop checknative –a 指令检查hadoop checknative –a 参考地址：https://blog.csdn.net/jack85986370/article/details/51902871

https://www.cnblogs.com/fanfanfantasy/p/4123412.html

至此，hadoop启动成功，要想看集群状态，可以打开下面两个网址：

localhost:8088（mapreduce的web页面，注意hadoop2.0以前的版本端口号为50030，我使用的是2.9.0版本，所有端口号为8088） localhost:50070（HDFS的web页面）

12 / 53

三、搭建并测试开发环境（JAVA）

1、JAVAjdk的安装

（1）查看是否已经安装了java JDK。

Shell下输入java –version

13 / 53

注意：Hadoop机器上的JDK，最好是Oracle的Java JDK，不然会有一些问题，比如可能没有JPS命令。 如果安装了其他版本的JDK，卸载掉。 (2) 安装java JDK

去下载Oracle版本Java JDK：我下载的是1.8版本的

jdk-8u171-linux-x64.tar.gz，然后将jdk-8u171-linux-x64.tar.gz解压到你想安装的目录下，这里我选的目录是/root/jdk1.8

Shell命令为tar -zxvf jdk-8u171-linux-x64.tar.gz -C /root/jdk1.8，也可以直接在文件系统里右键复制粘贴到对应目录

接下来添加环境变量，设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile，追加

export JAVA_HOME=/root/jdk1.8/jdk1.8.0_171 export

CLASSPATH=.:/root/jdk1.8/jdk1.8.0_171/jre/lib/rt.jar:/root/jdk1.8/jdk1.8.0_171/lib/dt.jar:/root/jdk1.8/jdk1.8.0_171/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH 修改完毕后，执行 source /etc/profile

三台虚拟机上都要进行对应的操作，或者设置好以个虚拟机的之后，将相应的文件用scp命令复制到另外两台虚拟机上

安装后再次执行 java –version,可以看见已经安装完成。

14 / 53

2、Tomcat的安装

(1) 下载 tomcat Linux 版本

oracle 官网下载地址：http://tomcat.apache.org/download-80.cgi

我下载的是apache-tomcat-7.0.86.tar.gz，注意不要下载8.0及以上版本，否则之

后的编程会提示不兼容问题

(2) 在 usr 目录下新建 tomcat 目录，然后将 下载的 tomcat 用工具拷贝到这个

新建的 tomcat目录中

(3) 解压 tomcat 文件, 由于文件名有点长，我们需要给解压后的文件夹重命名，

以便后面引用方便，我改为了tomcat7.0

(4) 配置环境变量(注意：这里我们前提是已经安装并配置好了 JDK)

15 / 53