上传数据到HDFS

本步骤将指导您如何将自建数据上传到HDFS。

1. 执行如下命令，创建HDFS目录。

说明：在LX终端中，粘贴快捷键为SHIFT+CTRL+V。

hdfs dfs -mkdir -p /data/student

2. 上传文件到hadoop文件系统。

a.执行如下命令，创建u.txt文件。

#创建u.txt文件

vim u.txt

b.按 "i" 键进入编辑模式，通过粘贴快捷键（SHIFT+CTRL+V）将下方内容复制到文件中，按"Esc"返回命令模式，输入":wq"保存

说明：第一列表示userid，第二列表示movieid，第三列表示rating，第四列表示unixtime。

196  242  3  881250949

186  302  3  891717742

22  377  1  878887116

244  51  2  880606923

166  346  1  886397596

298  474  4  884182806

115  265  2  881171488

253  465  5  891628467

305  451  3  886324817

6  86  3  883603013

62  257  2  879372434

286  1014  5  879781125

200  222  5  876042340

210  40  3  891035994

224  29  3  888104457

303  785  3  879485318

122  387  5  879270459

194  274  2  879539794

291  1042  4  874834944

234  1184  2  892079237

119  392  4  886176814

167  486  4  892738452

299  144  4  877881320

291  118  2  874833878

308  1  4  887736532

95  546  2  879196566

38  95  5  892430094

102  768  2  883748450

63  277  4  875747401

160  234  5  876861185

50  246  3  877052329

301  98  4  882075827

225  193  4  879539727

290  88  4  880731963

97  194  3  884238860

157  274  4  886890835

181  1081  1  878962623

278  603  5  891295330

276  796  1  874791932

7  32  4  891350932

10  16  4  877888877

284  304  4  885329322

201  979  2  884114233

276  564  3  874791805

287  327  5  875333916

246  201  5  884921594

242  1137  5  879741196

249  241  5  879641194

99  4  5  886519097

178  332  3  882823437

251  100  4  886271884

81  432  2  876535131

260  322  4  890618898

c. 上传文件u.txt到hadoop文件系统。

hdfs dfs -put u.txt /data/student

3. 查看文件。

hdfs dfs -ls /data/student

本步骤将指导您如何使用hive创建数据表，并使用hadoop文件系统中的数据加载到hive数据表中。

1. 执行如下命令，登录hive数据库。

hive

2. 创建user表。

CREATE TABLE emrusers (

  userid INT,

  movieid INT,

  rating INT,

  unixtime STRING )

 ROW FORMAT DELIMITED

 FIELDS TERMINATED BY '\t'

 ;

3. 执行如下命令，从hadoop文件系统加载数据到hive数据表。

LOAD DATA INPATH '/data/student/u.txt' INTO TABLE emrusers;