[Spark] - Spark部署安装

环境:centos6.0 虚拟机 搭建单机版本的spark 前提条件:搭建好hadoop环境


1. 下载scala进行安装

  只需要设置环境变量SCALA_HOME和PATH即可

  export SCALA_HOME=/home/hadoop/bigdater/scala

  export PATH=$PATH:$SCALA_HOME/bin

2. 修改hadoop的core-site.xml文件,添加用户代理控制

  hadoop.proxyuser.sparkuser.hosts=*

  hadoop.proxyuser.sparkuser.groups=*

  spearuser指的是安装spark的用户名

3. 下载spark安装文件

  wget http://archive.cloudera.com/cdh5/cdh/5/spark-1.2.0-cdh5.3.6-src.tar.gz

4. 解压压缩文件,编辑conf/spark-env.sh文件

  export SCALA_HOME=/home/hadoop/bigdater/scala

  export SPARK_WORKER_MEMORY=1g

  export SPARK_MASTER_IP=hh

  export MASTER=spark://hh:7077

5. 配置slaves文件,加入worker节点的hostname

  hh

6. 启动

  start-all.sh # 启动hadoop

  $SPARK_HOME/sbin/start-all.sj # 启动spark

上一篇:关于PHP如何用实现防止用户在浏览器上使用后退功能重复提交输入


下一篇:20145213《Java程序设计》第一周学习总结