Hive中数据的导入与导出

最近在做一个小任务,将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作,在正式开始做之前,首先进行了一段时间的练习,下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏,希望各位网友能够指出。

第一篇:HDFS的上传与下载(put & get):https://www.cnblogs.com/BlackString/p/10552553.html

第三篇:Hive分区表的导入与导出:https://www.cnblogs.com/BlackString/p/10552901.html

第四篇:跨平台传输方案:https://www.cnblogs.com/BlackString/p/10553010.html

Hive数据的上传/导入

1. 前言

​ 上一篇中,我们尝试了向HDFS中上传及下载文件的测试。在本篇,我们尝试从Hive中导出/导入数据。

2. Hive中的数据

  Hive中表数据对应着HDFS中的warehouse目录中的文件。其中:

​  一个数据库对应一个.db文件;

​   一个表对应.db文件中的一个文件夹;

​   表中的每个分区对应着表文件夹中的一个文件夹;

​   表中的每个桶对应着每个分区文件夹中的一个文件;

  检查Hive,发现Hive中有5个表:

    shell
    hive> show databases;
    db_zh_dw
    db_zh_dw2
    default
    test
    test02

  查看HDFS中的 /user/hive/warehouse 目录,在其中发现了以下文件:

    drwxrwxrwt - admin hive /user/hive/warehouse/db_zh_dw.db
    drwxrwxrwt - admin hive /user/hive/warehouse/test.db
    drwxrwxrwt - root hive /user/hive/warehouse/test02.db

  我们以test数据库为例,查看test中的表及test.db文件中的内容:

    hive> show tables;
    aos_dic
    aos_role
    aosparams

  ————————————————————————————————

    [root@DataCenter2 ~]# hadoop fs -ls /user/hive/warehouse/test.db
    drwxrwxrwt - hdfs hive /user/hive/warehouse/test.db/aos_dic
    drwxrwxrwt - hdfs hive /user/hive/warehouse/test.db/aos_role
    drwxrwxrwt - hdfs hive /user/hive/warehouse/test.db/aosparams

  从上可见,每个数据表对应着test.db中的一个文件夹。以aos_dic.db表为例,让我们查看其中的数据:

    [root@DataCenter2 ~]# hadoop fs -ls /user/hive/warehouse/test.db/aos_dic;
    -rwxrwxrwt 3 hdfs hive 1588 2018-09-21 14:13 /user/hive/warehouse/test.db/aos_dic/part-m-00000
    -rwxrwxrwt 3 hdfs hive 663 2018-09-21 14:13 /user/hive/warehouse/test.db/aos_dic/part-m-00001
    -rwxrwxrwt 3 hdfs hive 2019 2018-09-21 14:13 /user/hive/warehouse/test.db/aos_dic/part-m-00002
    -rwxrwxrwt 3 hdfs hive 254 2018-09-21 14:13 /user/hive/warehouse/test.db/aos_dic/part-m-00003

  可以看到该表中有四个文件(事实上,这四个表中就存储了aos_dic表中的所有数据,即该表不是一个分区表)。让我们查看该表的创建语句,其中有:

    LOCATION 'hdfs://DataCenter3:8020/user/hive/warehouse/test.db/aos_dic'

  这意味着该表是一个外部表。那么,假如我们向aos_dic中上传新文件,aos_dic表中的数据行是否会增多?

3. 向Hive中上传新文件

  1)还是拿test库下的aos_dic表为例。此时此表中的数据行有:

    hive> select count(*) from aos_dic;
    80

    此时aos_dic表中有80行数据。

  2)我们仿照aos_dic中的文件创建一个新文件:part-m-00004,并在其中写入符合格式的10行数据,然后将该文件上传到aos_dic文件夹下:

    sudo -u hdfs hadoop fs -put part-m-00004 /user/hive/warehouse/test.db/aos_dic

  3)上传完毕,到hive中查看aos_dic表中的数据是否增多:

    hive> select count(*) from aos_dic;
    90

  4)由上可见,我们上传的数据也出现在了aos_dic表中。

4. hive export 和 hive import 的使用

  Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置,并且导出数据可以被移动到另一个hadoop集群或hive实例,并且可以通过import命令导入数据。

  当导出一个分区表,原始数据可能在hdfs的不同位置,export/import命令也支持导出分区表的不同子分区。

  导出的元数据存储在目标目录,并且数据文件是存储在不同的子目录下。

  Export/import命令可以独立工作在使用存储元数据的rdbms中。

  语法

    1)export语法:

      EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])]
      TO 'export_target_path' [ FOR replication('eventid') ]

    2)import语法:

      IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, ...])]]
      FROM 'source_path'
      [LOCATION 'import_target_path']

  练习

    1)导出练习:

    将test02库中的tt03表(非分区表,外部表)导出到 /user/test 下(也可以不用新建文件夹,导出时会自动创建):

      export table tt03 to '/user/test';

    到 /user/test 下查看,会发现多出了两个新文件。从下面的结果中可以看出,两个文件中,一个保留了tt03表的元数据信息,一个存储了tt03的外部数据文件:

      [root@DataCenter2 tt02]# hadoop fs -ls /user/test
      -rwxr-xr-x 3 root supergroup 1392 2019-03-15 14:30 /user/test/_metadata
      drwxr-xr-x - root supergroup 0 2019-03-15 14:30 /user/test/data
      [root@DataCenter2 tt02]# hadoop fs -ls /user/test/data
      -rwxr-xr-x 3 root supergroup 132 2019-03-15 14:30 /user/test/data/part01.txt
      -rwxr-xr-x 3 root supergroup 142 2019-03-15 14:30 /user/test/data/part02.txt
      -rwxr-xr-x 3 root supergroup 141 2019-03-15 14:30 /user/test/data/part03.txt

      ————————————————————————————————————

      [root@DataCenter2 tt02]# hadoop fs -cat /user/test/_metadata
      元数据略;

2)导入练习:

  将1)中导出的信息导入到test03库中:

    hive> import from '/user/test';

  导入成功,会发现test03下多出了一个表tt03:

    hive> show tables;
    tt03

  查看tt03中的数据,发现和test02库中的tt03表一致。

  而到tt03在HDFS中的文件查看,会发现test03库下多出了一个文件夹tt03,而tt03中包含了原tt03的所有外部文件:

    [root@DataCenter2 tt02]# hadoop fs -ls /user/hive/warehouse/test03.db/tt03
    -rwxrwxrwt 3 root supergroup 132 2019-03-15 14:31 /user/hive/warehouse/test03.db/tt03/part01.txt
    -rwxrwxrwt 3 root supergroup 142 2019-03-15 14:31 /user/hive/warehouse/test03.db/tt03/part02.txt
    -rwxrwxrwt 3 root supergroup 141 2019-03-15 14:31 /user/hive/warehouse/test03.db/tt03/part03.txt

  除了直接导入原表外,还可以在导入时重命名导入的表:

    hive> import table tt02 from '/user/test';

3)关于内外部表,import后的不同:

  一个内部表的信息,被导入后仍然是一个内部表,在hive中删除该表,对应的库中的文件也会被删除;

  一个外部表的信息,被导入后仍然是一个外部表,在hive中删除该表,对应库中的文件不会被删除;

  但是,一个内部表的信息在导入时可以被导入为一个外部表:

    hive> import external table tt01 from '/user/test/test01';

  到该表所在的数据库中查看,会发现.db文件下多出了一个文件夹tt01,但是其中没有任何数据,此时删除该表这个文件夹也不会消失。

  向导入的表tt01中插入数据,插入成功后去查看.db下出现的tt01文件夹,会发现它仍然是一个空文件夹,到导入数据所在的文件夹下,会发现多出了一条新数据——正是我们刚刚插入的那条数据。

4)指定导入位置:

  在导入一个表时,我们可以指定这个表导入的位置,如:

    hive> import from '/user/test/test01' location '/user/test/test02';

  查看该表,发现其中包含了所有的数据。如果此时去test03.db下查看,会发现并不存在名为tt01的文件夹。在这条指令中,我们在 /user/test 下新建了一个test02文件夹,并在导入时定位到了这里。此时,我们到该文件夹下

  查看,会发现其中包含了tt01的所有数据。

  向tt01中插入一条新数据,.db下并没有出现新文件,到test02文件夹下查看,会发现新增了一个文件,其中记录了新插入的数据。

  删除test02文件夹,会发现test03库中tt01仍然存在,但是却不含任何数据。向其中插入一条新数据,会发现 /user/test 下重新出现了test02文件夹,其中包含了刚刚插入的那条数据。

5)导入/导出分区:

  那么,对于分区表要如何导出/导入呢?

  使用以下语句导出一个分区表的某个分区:

    hive> export table tt02 partition(birth='1997') to '/user/test/test03';

  使用以下语句导入一个分区表:

    hive> import table tt02 partition(birth='1997') from '/user/test/test03';

  会发现已经导入了一个分区表,这个分区表中包含了一个分区。当然我们也可以导入更多的分区:

    hive> import table tt02 partition(birth='1999') from '/user/test/test04';

  成功后会发现该表又多处一个新的分区。到.db文件下,会发现tt02文件夹中包含了导入的两个分区:

    [root@DataCenter2 Test]# hadoop fs -ls /user/hive/warehouse/test03.db/tt02
    drwxrwxrwt - root hive 0 2019-03-15 15:39 /user/hive/warehouse/test03.db/tt02/birth=1997
    drwxrwxrwt - root hive 0 2019-03-15 15:50 /user/hive/warehouse/test03.db/tt02/birth=1999

  分区表可以进行拓展,但是普通的表却无法进行拓展,一旦表中已经存在数据就无法再导入数据(空表则可以,但是字段要对应)。

  此外,能否一次性导出多个分区?我一开始认为有可能,但是经过数个小时的测试和查询,我不得不认为,应该是无法一次导出多个分区的。

  【3月28日更新:这个结论是我一开始得出的,但是今天我得知了动态分区的存在,根据动态分区的设定,一次性导入多个分区的数据是可以用动态分区实现的】

上一篇:Comparable与Comparator


下一篇:Hive中知识点