Hadoop伪分布式部署及解决方案

作者: lsj

    1  配置JAVA的环境变量

vim /etc/profile.d/java-env.sh

      Hadoop伪分布式部署及解决方案

2 配置Hadoop环境变量

vim /etc/profile.d/hadoop-env.sh

Hadoop伪分布式部署及解决方案

3 配置ssh免密登录

ssh-keygen -t rsa

cd ~/.ssh

cat ./id_rsa.pub >> ./authorized_keys

4 去到/opt/service/Hadoop/etc/hadoop下配置core-site.xml, hdfs-site.xml,mapred-site.xml,yarn-site.xml,Hadoop-env.sh

4.1  Vim Core-site.xml

Hadoop伪分布式部署及解决方案

 

 

4.2 vim  hdfs-site.xml

 

Hadoop伪分布式部署及解决方案

4.3  vim mapred-site.xml

Hadoop伪分布式部署及解决方案

4.4 vim yarn-site.xml

Hadoop伪分布式部署及解决方案

 

4.5  vim Hadoop-env.sh

第一行export JAVA_HOME=${JAVA_HOME}修改为export JAVA_HOME=/opt/service/jdk,即jdk的解压路径

 

5第一次启动时,namenode要做格式化,去到/opt/service/Hadoop/ 执行  bin/hdfs namenode -format

Hadoop伪分布式部署及解决方案

6 执行 sbin/start-dfs.sh

Hadoop伪分布式部署及解决方案

 

7使用jps命令查看进程信息:成功如下图

Hadoop伪分布式部署及解决方案

8在浏览器中输入 http://localhost:50070 ,即可查看相关信息,截图如下

Hadoop伪分布式部署及解决方案

 

补充说明

如果你安装了JDK,,但执行命令是出现如下图的情况

Hadoop伪分布式部署及解决方案

原因是你配置完JDK没有刷新,执行source /etc/profile

Hadoop伪分布式部署及解决方案

 

当你关掉虚拟机,再重新启动时,再执行jps查看进程时会有以下情况

Hadoop伪分布式部署及解决方案

这个问题很是头疼,原来是每次启动后都需要执行第5 ,6 步骤

如果执行到第6步骤出现

Hadoop伪分布式部署及解决方案

那是因为每次启动第五步骤时,NameNode中的clusterID是刷新的了,而DataNode中的clusterID是不变的.那么我们就需要去这个目录下,用vim 打开,把clusterID复制到/home/lsj/hadoop-2.8.5/tmp/dfs/data/current/这个目录下中VERSION的clusterID

Hadoop伪分布式部署及解决方案

成功结果显示

Hadoop伪分布式部署及解决方案

 

上一篇:ECharts


下一篇:跨页面传ID