hadoop 环境 mr任务指定python版本

 

files="/home/maintable/wenda/pyvers/pys"

/usr/bin/hadoop/software/hadoop/bin/hadoop streaming \
-D mapred.job.name="mr_test_log" \
-D mapred.job.priority="VERY_HIGH" \
-D mapred.reduce.tasks=0 \
-jobconf stream.non.zero.exit.is.failure=false \
-file /home/maintable/tanzhenghai/sysenv/map.py -mapper "python2.6 map.py" \
-input $files \
-output /home/maintable/wenda/pyvers/result


echo "End..."

 

 

一开始 -mapper map.py 直接这样写,用的环境中2.4.3的。。。

 

上一篇:MapReduce(二) MR的高级特性-序列化、排序、分区、合并


下一篇:大数据 Hive数据仓库