zookeeper笔记--配置以及和spark hbase结合使用

Spark集群基于ZooKeeper的搭建:http://www.dataguru.cn/thread-333245-1-1.html

Spark需要修改的地方:

进入spark的配置目录,参照下面代码修改spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node4:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
export JAVA_HOME=/usr/local/bin/jdk1.7.0_71
#export SPARK_MASTER_IP=node4
#export SPARK_MASTER_PORT=
export SPARK_WORKER_CORES=
export SPARK_WORKER_INSTANCES=
export SPARK_WORKER_MEMORY=1g

hbase+zookeeper:

不错的资料  http://blog.csdn.net/lxf310/article/details/17263337
http://my.oschina.net/hanzhankang/blog/129335

上一篇:JDK 在 Linux 上安装的详细过程


下一篇:ubuntu删除openjdk,安装 Sun JDK