Sqoop1.4.2数据同步工具基础使用

我们使用Sqoop主要是用作数据库和HDFS之间的数据同步操作。

那么在HDFS中主要使用的管理工具是HIVE。

 

目前，使用Sqoop使用 hive-import功能是有异常的。

在使用hive-import功能的时候，会自动生成CREATE TABLE 脚本。

而无法根据Hive的Metadata来进行操作。

 

而在使用-query功能，也就是通过查询脚本进行数据导入时，是必须要指定--target-dir的。

而且使用-query中，query里面必须要加上$CONDITIONS (注意S)

这一点在结合Hive使用的时候会带来一些麻烦。

 

那么这里先展示一下从Oracle导入数据的脚本(注意，使用Oracle脚本的时候使用英文大写！)：

sqoop import --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test\
       --username aaaaaa  \
       --password xxxxx  \
      --query "SELECT A,B,C FROM TEST WHERE \$CONDITIONS" \
      -m 1   \
      --target-dir /user/daxingyu930/warehouse/test  \
      --fields-terminated-by '\t' --lines-terminated-by '\n'  \
      --append  \
      --verbose

--verbose是显示debug信息

--append表示不会覆盖原有的HDFS数据，而是增加数据。

--fields & lines...这个就指定分隔符和换行符。

在Hive建表后再导入对应的数据，好指定对应的分隔符换行符。 

 

关于使用Sqoop进行数据导出。是不支持读取Hive的元数据功能的。

所以HDFS中是什么样的字段顺序，那么导出就是怎样的顺序。

 

sqoop export --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test  \
  --username aaaaaa --password xxxxx   \ 
  --table PA18ODSDATA.TEST  \  
  --export-dir /user/daxingyu930/warehouse/test \ 
  --input-fields-terminated-by '\t'

 

PS.QUEST公司由一个Sqoop对应Oracle数据同步工具，有网友测试效率相当喜人。