spark学习(2)--hadoop安装、配置

环境:

   三台机器 ubuntu14.04  

   hadoop2.7.5

   jdk-8u161-linux-x64.tar.gz (jdk1.8)

架构:

   machine101 :名称节点、数据节点、SecondaryNaemnode(辅助名称节点)、ResourceManager、NodeManger

      machine102、machine103 :数据节点、NodeManger

1、安装jdk\hadoop

(1)解压hadoop.tar.gz到/soft/

(2)配置环境变量

JAVA_HOME=/soft/jdk1..0_45   (必须要写,hadoop会去找名叫JAVA_HOME的值)
HADOOP_HOME=/soft/hadoop-2.7.5 (必须要写)
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk1.7.0_45/bin:/soft/hadoop-2.7.5/bin:/soft/hadoop-2.7.5/sbin"

(3)source /etc/environment

(4)验证是否安装成功 :查看版本  $> hadoop version

2、配置hadoop的三种模式 

 1、standalone/local  独立/本地模式 (默认是此模式,不需要配置)

    ----使用本地文件系统,此模式只用在开发、调试时。

 2、Pseudodistributed mode  伪分布式模式  (一般都用完全分布式,需要多台服务器)

    ----完全类似完全分布式,但是只有一个节点。      

3、Fully distributes mode  完全分布式模式

  第一步: 三台客户机,安装jdk,hadoop,配置两者的环境变量

   第二步: 安装ssh实现无密登陆,只有NN(名称节点)需要生成密钥对,把其公钥放在数个DN(数据节点)的~/.ssh/authorized_keys

        1)用户是ailab,需要明确是哪个用户

          $>sudo apt-get install ssh

        2)生成密钥

          $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

        3)将自己的公钥导入自己的公钥数据库(~/.ssh/authorized_keys就是公钥数据库)

          $>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

        4)实现对自己的无密登陆

          $>ssh localhost

        A登陆B,需要A用自己的私钥加密,传递给B,B用A的公钥解密。即,A需要事先把公钥给B

        machine101公钥从101传递给machine102上

        方法1:直接用scp拷贝过去

            machine101:  scp ~/.ssh/id_rsa.pub ailab@192.168.1.200:/home/ailab/

            machine102:   cat id_rsa.pub >>authorized_keys
        方法2:

        第一步: ailab@machine102:~/.ssh$  nc -l 8888 > id_rsa.pub.machine101

        第二步: ailab@machine101:~/.ssh$ nc machine102 8888 < id_rsa.pub

        结果    : 在machine102的~/.ssh目录下多出“id_rsa.pub.machine101”文件

        第三步 :cat id_rsa.pub.machine101 >>authorized_keys  (将101的公钥写入102的公钥数据库)

        结果    : ailab@machine101:~/.ssh$ ssh machine102   (可以在101无密登陆102了)

spark学习(2)--hadoop安装、配置

   第三步:配置hadoop文件:

在/soft/hadoop/etc/hadoop/目录下

 a.修改core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://machine101:8020/</value> //写名称结点
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/ailab/hadoop</value> //每个节点需要自己创建该目录,最后没有左斜杠
  </property>
</configuration> b.修改hdfs-site.xml
<property>   
  <name>dfs.replication</name> #副本数   
  <value>3</value>
</property>
#如果说还有第四台机子的话,应该把machine104设置为SecondaryNaemnode(辅助名称节点)
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>machine104:50090</value>
</property>

c.cp mapred-site.xml.template  mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
d.修改yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>machine101</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
e.修改vim slaves (存储数据结点ip)
machine 101   #既作名称节点,又作数据节点
machine 102
machine

   第四步:scp命令(远程文件拷贝),基于ssh

        ------把jdk,hadoop文件拷贝到其他机器

        scp -r /soft/* ailab@machine102:/soft     #把jdk/hadoop传给其他机器

        scp /etc/environment root@machine102:/etc/

   第五步:

      格式化文件系统  machine101 $>hadoop namenode -format (初始化了namenode工作目录)

      启动所有进程   machine101 $>start-all.sh (datanode启动后,初始化datanode工作目录)

      停止       machine101 $> stop-all.sh

      重启系统(考察start-all.sh是否ok)

      不需要格式化(以后都不需要格式化)

      直接start-all.sh

      检查jps

spark学习(2)--hadoop安装、配置spark学习(2)--hadoop安装、配置spark学习(2)--hadoop安装、配置

   第六步番外:

      如果以后修改了配置文件

      需要先stop-all.sh

      格式化文件系统 $>hadoop namenode -format,在启动

=====================================================================================================================

 背景知识:

      hadoop所有类库、配置文件都在tar包中,jar包在share/hadoop/.

      1、解压tar包

      2、hadoop-2.7.5\share\hadoop\common\hadoop-common-2.7.5.jar里有core-default.xml默认的配置文件

        同样道理,也存在jar包中也存在hdfs-default.xml等

比如,如果你不修改服务器中soft/hadoop/etc/hadoop/core-site.xml的话,就会读取jar包里默认的core-default.xml
以下内容来自jar包中的core-default.xm
<property>
<name>fs.defaultFS</name>
<value>file:///</value> #默认是本地模式
</property> <property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value> #默认的hadoop.tmp.dir值
  <description>A base for other temporary directories.</description>
</property>
以下来自hdfs-default.xml
动态获取hadoop.tem.dir的值。所以只需要在core-site.xml配置hadoop.tem.dir就可以了
datanode工作目录:
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>

     

=============================================================================================================

hadoop进程管理:

  第一步:查看hadoop进程个数(5个)  $>jps

  第二步:如果进程个数不对,杀死所有进程  $>stop-all.sh

  第三步:重新格式化系统  machine101$>hadoop namenode -format

  第四步:启动所有进程  machine101$>start-all.sh

  电脑一旦重启,就需要重新格式化hadoop,因为伪分布式下,他把本地文件保存为临时文件,重新开机后文件就删除了

  如果配置了hadoop.tmp.dir,就没事,数据文件会保存下来

首次启动hadoop:

  第一步:格式化文件系统   $>hadoop namenode -format

  第二步:启动所有进程    $>start-all.sh

  第三步:查询进程     $>jps

  查看文件目录 $> hadoop fs -ls /

  创建文件 $> hadoop fs -mkdir -p /user/ailab/data

基于web ui 访问文件系统hdfs :  http://localhost:50070

 需要注意的问题:

hadoop伪分布式下 无法启动datanode的原因及解决办法

版本一:----------------------------------------------------------------------------------------------

3. 问题产生原因:
执行文件系统格式化时(即执行命令$ bin/hadoop namenode -format 后),会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION(我的路径为 usr/local/hadoop/tmp/dfs/name/current/VERSION,其中hadoop为建立虚拟机时为虚拟机系统所取的用户名)文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件(路径为usr/local/hadoop/tmp/dfs/data/current/VERSION)只是你第一次格式化时保存的namenode的ID,因此就会造成namdenode 的 namespaceID 与 datanode的namespaceID 不一致,从而导致namenode和 datanode的断连。
解决方法:
小航哥答案:直接删除datanode工作目录,重新启动dfs。

在每次执行hadoop namenode -format时,都会为NameNode生成namespaceID,,但是在hadoop.tmp.dir目录下的DataNode还是保留上次的namespaceID,因为namespaceID的不一致,而导致DataNode无法启动,所以只要在每次执行hadoop namenode -format之前,先删除hadoop.tmp.dir(路径为 /usr/local/hadoop/下的)tmp目录就可以启动成功,或者删除/usr/local/hadoop/tmp/dfs下的data目录,然后重新启动dfs(在hadoop安装路径 /usr/local/hadoop/ 下,运行命令./sbin/start-dfs.sh)即可。请注意是删除hadoop.tmp.dir对应的本地目录,即/usr/local/hadoop/下的tmp文件夹,而不是HDFS目录。

 也可以试着参考http://blog.sina.com.cn/s/blog_76fbd24d01017qmc.html 或者http://blog.csdn.net/hackerwin7/article/details/19973045这两篇文章。

以后在hadoop format过程中 要注意不要频繁地reformat  namnode(格式化命令为  ./bin/hadoop namenode -format)的ID信息。format过程中选择N(否)就是了。

Hadoop namenode重新格式化需注意问题

版本二:

----------------------------------------------------------------------------------------------

(1)Hadoop的临时存储目录tmp(即core-site.xml配置文件中的hadoop.tmp.dir属性,默认值是/tmp/hadoop-${user.name}),如果没有配置hadoop.tmp.dir属性,那么hadoop格式化时将会在/tmp目录下创建一个目录,例如在cloud用户下安装配置hadoop,那么Hadoop的临时存储目录就位于/tmp/hadoop-cloud目录下
(2)Hadoop的namenode元数据目录(即hdfs-site.xml配置文件中的dfs.namenode.name.dir属性,默认值是${hadoop.tmp.dir}/dfs/name),同样如果没有配置该属性,那么hadoop在格式化时将自行创建。必须注意的是在格式化前必须清楚所有子节点(即DataNode节点)dfs/name下的内容,否则在启动hadoop时子节点的守护进程会启动失败。这是由于,每一次format主节点namenode,dfs/name/current目录下的VERSION文件会产生新的clusterID、namespaceID。但是如果子节点的dfs/name/current仍存在,hadoop格式化时就不会重建该目录,因此形成子节点的clusterID、namespaceID与主节点(即namenode节点)的clusterID、namespaceID不一致。最终导致hadoop启动失败。

2、hadoop 的三个模块

hdfs 分布式文件系统

    【进程】

    NameNode        //名称节点--存目录的地方

    DataNode         //数据节点--存数据的地方

    SecondaryNaemnode  //辅助名称节点--备份目录的地方

yarn 作业(job)调度集群资源管理框架e

    ResourceManager    //资源管理器

    NodeManger        //节点管理器

mapreduce 基于yarn的对大数据集进行并行处理技术

()

上一篇:五十九.大数据、Hadoop 、 Hadoop安装与配置 、 HDFS


下一篇:【优化预测】基于matlab蝙蝠算法优化BP神经网络预测【含Matlab源码 1379期】