大数据 Hadoop Windows开发环境搭建

1、解压Hadoop安装包、源码包

大数据 Hadoop Windows开发环境搭建

 

2、新建一个文件夹用于存放jar包

大数据 Hadoop Windows开发环境搭建

 

3、将hadoop-2.6.5\share\hadoop下的所有jar包拷贝到新建的文件夹中

4、配置环境变量,将Hadoop安装包解压路径配置到环境变量中

大数据 Hadoop Windows开发环境搭建

 加入到PATH中

大数据 Hadoop Windows开发环境搭建

 再配置一条HADOOP_USER_NAME

大数据 Hadoop Windows开发环境搭建

 

5、替换安装包目录下bin目录的文件

 替换文件https://pan.baidu.com/s/1EV7FfbZ5Hk-5lrp-9KpYpg

6、将bin目录下的hadoop.dll文件拷贝到C:\Windows\System32

7、安装eclipse mars.2后,将hadoop-eclipse-plugin-2.6.0插件拷贝到eclipse安装目录的plugis目录下

8、打开eclipse,window>preferences>hadoop map/reduce 将路径设置为hadoop安装路径

大数据 Hadoop Windows开发环境搭建

 

9、在map/reduce locations窗口下新建一个连接

大数据 Hadoop Windows开发环境搭建

 

大数据 Hadoop Windows开发环境搭建

 

10、window>preferences>java>buid path>user libraries,new一个library。

大数据 Hadoop Windows开发环境搭建

 

11、点击add external jars,将之前拷贝出来的jar包全部导入

大数据 Hadoop Windows开发环境搭建

 

12、在项目中右键>build path>configure build path>libraries>add library>user library,选择上一步创建的library。

13、将运行的Hadoop集群中的hdfs-site.xml和core-site.xml放到项目的src目录下

14、以上步骤完成后便可以编写代码了

 

大数据 Hadoop Windows开发环境搭建

上一篇:kendo UI for asp.net mvc


下一篇:【tensorflow基础】Tensorpack-API