Hive文件格式及数据导入导出

摘要：熟悉Hive文件格式和数据导入导出，对数据的查询和快速处理有很大的帮助。

Hive文件格式

• TEXTFILE

  • 默认格式，数据不进行任何压缩
  • 存储方式：行存储
  • 磁盘开销大，数据解析开销大
  • Hive不会对其进行切分，无法对数据进行并行操作

• SEQUENCEFILE

  • 二进制文件，以<key,value>形式序列化到文件中</key,value>
  • 存储方式：行存储
  • 可分割、可压缩。支持三种压缩方式：NONE，RECORD，BLOCK。Record压缩率低，一般选择block压缩。
  • 文件和Hadoop API中的mapfile相互兼容

• RCFILE

  • 存储方式：按行分块，每块按照列存储。保证同一个record在一个块上，避免读一个record需要读取多个block。其次，块数据列存储，有利于数据压缩和快速列存取
  • 压缩快，快速列存取
  • 读记录尽量控制block最少
  • 读取指定的列只需读取每个row group的头部定义
  • 读取全量数据时，性能可能对SEQUANCEFILE性能差

• ORCFILE

  • 存储方式：按行分块，每块按照列存储
  • 压缩快，快速列存储
  • 效率比RC高，可以理解为RC的改进版

• PARQUET

  • 类似于ORC
  • 通用性比ORC强，Hadoop生态系统中大部分工程都支持该文件格式

Hive数据导入

• 本地文件导入到Hive表,需提前创建表

  load data local inpath "/tmp/user/data/demo_local.parquet" 
  into table db_tmp.demo_local;
  

   

• HDFS文件导入到Hive表,需提前创建表

  load data inpath "/tmp/user/data/demo_hdfs.parquet" into table db_tmp.demo_hdfs;
  

   

• Hive表导入到Hive表

  insert into table demo_hive select * from demo_hive_b;
  

   

• 创建表时从其他Hive表导入

  create table demo_a as select * from demo_hive_b;
  

   

• 通过sqoop将mysql库导入到Hive表

  -- 默认导入到default库
  sqoop import --connect jdbc:mysql://10.168.225.1:3306/casedb  
  --username root --password password --table demo 
  --hive-import --create-hive-table -m 1
  
  -- 指定导入的数据库
  sqoop import --connect jdbc:mysql://10.168.225.1:3306/casedb  
  --username root --password root --table demo 
  --hive-import --create-hive-table 
  --hive-table database.demo -m 1
  

   

Hive数据导入

• 导出到本地

  insert overwrite local directory "/home/hadoop/data/" row format dilimited 
      fields terminated by "," select * from demo_hive_b;
  

   

• 导出到HDFS

  insert overwrite  directory "/home/hadoop/data/" row format dilimited 
      fields terminated by "," select * from demo_hive_b;
  

   

• Hive命令行导出

  # Linux bash终端
  # 重定向方式
  hive -e "select * from demo_hive_b" >> /home/hadoop/data/demo_output.txt
  
  # sql文件方式
  echo "select * from demo_hive_b" > /home/hadoop/data/demo_output.sql
  hive -f /home/hadoop/data/demo_output.sql >> /home/hadoop/data/demo_output.txt