100-BigData-28Sqoop

上一篇：099-BigData-27数据仓库

一、Sqoop简介

Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。
请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。

二、Sqoop原理

将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

三、Sqoop安装

安装Sqoop的前提是已经具备Java和Hadoop的环境。

3.1、下载并解压

  1. 最新版下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/

  2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/software/

  3. 解压sqoop安装包到指定目录，如：

$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

3.2、修改配置文件
Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。

  1. 重命名配置文件
$ mv sqoop-env-template.sh sqoop-env.sh
$ mv sqoop-site-template.xml sqoop-site.xml 此行不用做
  1. 修改配置文件
    sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.8.4
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.8.4
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf

3.3、拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下，如：

$ cp -a mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

3.4、验证Sqoop
我们可以通过某一个command来验证sqoop配置是否正确：

$ bin/sqoop help
出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  version            Display version information
·····

注:注释掉configure-sqoop 134行到143行的内容，内容如下

134 ## Moved to be a runtime check in sqoop.
     135 #if [ ! -d "${HCAT_HOME}" ]; then
    136 #  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
    137 #  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
    138 #fi
    139 #
    140 #if [ ! -d "${ACCUMULO_HOME}" ]; then
    141 #  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
    142 #  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
    143 #fi

3.5、测试Sqoop是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://bigdata113:3306/ --username root --password 000000
出现如下输出：
information_schema
metastore
mysql
performance_schema

四、Sqoop的简单使用案例

4.1、导入数据
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
4.1.1、RDBMS到HDFS

  1. 确定Mysql服务开启正常
  2. 在Mysql中新建一张表并插入一些数据
$ mysql -uroot -p000000
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');
  1. 导入数据
    （1）全部导入
$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table student \
--target-dir /user/test/student1 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

（2）查询导入

$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--target-dir /user/test/student \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from student where id <=6 and $CONDITIONS;'

尖叫提示：must contain 'CONDITIONS' in WHERE clause. 注：CONDITIONS 翻译‘条件’ 尖叫提示：如果query后使用的是双引号，则CONDITIONS前必须加转移符，防止shell识别为自己的变量。
（3）导入指定列

$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--target-dir /user/test/student \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,name \
--table student

尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格
（4）使用sqoop关键字筛选查询导入数据

$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--target-dir /user/test/student \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table student \
--where "id=2"

尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。
4.1.2、RDBMS到Hive

$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table student \
--delete-target-dir \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table student_hive

尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库
尖叫提示：从MYSQL到Hive，本质时从MYSQL => HDFS => load To Hive
4.2、导出数据
在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。
4.2.1、HIVE/HDFS到RDBMS

创建aca表
create table abc(id int,name VARCHAR(5));

$ bin/sqoop export \
--connect jdbc:mysql://bigdata111:3306/test characterEncoding=utf-8\
--username root \
--password 000000 \
--export-dir /user/hive/warehouse/student_hive \
--table student1 \
--num-mappers 1 \
--input-fields-terminated-by "\t"

尖叫提示：Mysql中如果表不存在，不会自动创建,自行根据表结构创建
尖叫提示：重复往mysql的统一个表中导出数据，mysql的表不能设置主键和自增。
尖叫提示：如果数据导出mysql中是“？？”那么添加characterEncoding=utf-8
思考：数据是覆盖还是追加 答案：追加
4.3、脚本打包
使用opt格式的文件打包sqoop命令，然后执行

  1. 创建一个.opt文件
$ touch job_HDFS2RDBMS.opt
  1. 编写sqoop脚本
$ vi ./job_HDFS2RDBMS.opt
#以下命令是从staff_hive中追加导入到mysql的aca表中

export
--connect
jdbc:mysql://bigdata112:3306/test
--username
root
--password
000000
--table
student
--num-mappers
1
--export-dir
/user/hive/warehouse111/student_hive
--input-fields-terminated-by
"\t"
  1. 执行该脚本
$ bin/sqoop --options-file job_HDFS2RDBMS.opt

五、Sqoop一些常用命令及参数

5.1、常用命令列举
这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。

image.png

5.2、命令&参数详解
刚才列举了一些Sqoop的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。
首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。

5.2.1、公用参数：数据库连接

image.png

5.2.2、公用参数：import

image.png

5.2.3、公用参数：export

image.png

5.2.4、公用参数：hive

image.png

公用参数介绍完之后，我们来按照命令介绍命令对应的特有参数。

5.2.5、命令&参数：import
将关系型数据库中的数据导入到HDFS（包括Hive，HBase）中，如果导入的是Hive，那么当Hive中没有对应表时，则自动创建。

  1. 命令：
    如：导入数据到hive中
$ bin/sqoop import \
--connect jdbc:mysql://bigdata113:3306/test \
--username root \
--password 000000 \
--table access \
--hive-import \
--fields-terminated-by "\t"

如：增量导入数据到hive中，mode=append

append导入：
$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/test \
--username root \
--password 000000 \
--table student \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse111/student_hive \
--check-column id \
--incremental append \
--last-value 10

尖叫提示：append不能与--hive-等参数同时使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）
注:--last-value 2 的意思是标记增量的位置为第二行，也就是说，当数据再次导出的时候，从第二行开始算
注：如果 --last-value N , N > MYSQL中最大行数，则HDFS会创建一个空文件。如果N<=0 , 那么就是所有数据

如：增量导入数据到hdfs中，mode=lastmodified（注：卡住）

先在mysql中建表并插入几条数据：
mysql> create table staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into staff_timestamp (id, name, sex) values(1, 'AAA', 'female');
mysql> insert into staff_timestamp (id, name, sex) values(2, 'BBB', 'female');
先导入一部分数据：
$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table staff_timestamp \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\t" \
--m 1
再增量导入一部分数据:
mysql> insert into staff_timestamp (id, name, sex) values(3, 'CCC', 'female');
$ bin/sqoop import \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--m 1 \
--last-value "2019-07-16 06:44:12" \
--append \
--fields-terminated-by "\t" \
--warehouse-dir /user/hive/warehouse/

尖叫提示：使用lastmodified方式导入数据要指定增量数据是要--append（追加）还是要--merge-key（合并）
尖叫提示：在Hive中，如果不指定输出路径，可以去看以下两个目录
/user/root（此为用户名）
/user/hive/warehouse 个人配置的目录
尖叫提示：last-value指定的值是会包含于增量导入的数据中
如果卡住，在yarn-site.xml中加入以下配置

<property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>20480</value>
 </property>

 <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
 </property>

 <property>
     <name>yarn.nodemanager.vmem-pmem-ratio</name>
     <value>2.1</value>
 </property>
  1. 参数：
image.png
image.png

5.2.6、命令&参数：export
从HDFS（包括Hive和HBase）中将数据导出到关系型数据库中。

  1. 命令：
    如：
bin/sqoop export \
--connect jdbc:mysql://bigdata113:3306/test \
--username root \
--password 000000 \
--export-dir /user/hive/warehouse/staff_hive \
--table aca \
--num-mappers 1 \
--input-fields-terminated-by "\t"
  1. 参数：
image.png

5.2.7、命令&参数：codegen
将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。
如：

$ bin/sqoop codegen \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table student \
--bindir /root/student \
--class-name Student \
--fields-terminated-by "\t"
image.png

5.2.8、命令&参数：create-hive-table
生成与关系数据库表结构对应的hive表结构。
命令：
如：仅建表

$ bin/sqoop create-hive-table \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table student \
--hive-table hive_student

参数：

image.png

5.2.9、命令&参数：eval
可以快速的使用SQL语句对关系型数据库进行操作，经常用于在import数据之前，了解一下SQL语句是否正确，数据是否正常，并可以将结果显示在控制台。
命令：
如：

$ bin/sqoop eval \
--connect jdbc:mysql://bigdata11:3306/test \
--username root \
--password 000000 \
--query "SELECT * FROM student"

参数：

image.png

5.2.10、命令&参数：import-all-tables
可以将RDBMS中的所有表导入到HDFS中，每一个表都对应一个HDFS目录
命令：
如：注意：(卡住)

$ bin/sqoop import-all-tables \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--hive-import \
--fields-terminated-by "\t"

bin/sqoop-import-all-tables --connect jdbc:mysql://bigdata111:3306/test --username root --password 000000 --as-textfile --warehouse-dir /user/root/plus -m 1

参数：

image.png

5.2.11、命令&参数：job
用来生成一个sqoop任务，生成后不会立即执行，需要手动执行。
命令：
如：

$ bin/sqoop job \
 --create myjob -- import-all-tables \
 --connect jdbc:mysql://bigdata112:3306/test \
 --username root \
 --password 000000

$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob1

尖叫提示：注意import-all-tables和它左边的--之间有一个空格
尖叫提示：如果需要连接metastore，则--meta-connect
执行的结果在HDFS：/user/root/ 目录中，即导出所有表到/user/root中
参数：

image.png

尖叫提示：在执行一个job时，如果需要手动输入数据库密码，可以做如下优化

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>

5.2.12、命令&参数：list-databases
命令：
如：

$ bin/sqoop list-databases \
--connect jdbc:mysql://bigdata113:3306/ \
--username root \
--password 000000

参数：与公用参数一样

5.2.13、命令&参数：list-tables
命令：
如：

$ bin/sqoop list-tables \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000

参数：与公用参数一样

5.2.14、命令&参数：merge
将HDFS中不同目录下面的数据合并在一起并放入指定目录中
数据环境：注意:以下数据自己手动改成\t
new_staff

1 AAA male
2 BBB male
3 CCC male
4 DDD male
old_staff

1 AAA female
2 CCC female
3 BBB female
6 DDD female

尖叫提示：上边数据的列之间的分隔符应该为\t，行与行之间的分割符为\n，如果直接复制，请检查之。
命令：
如：

创建JavaBean：
$ bin/sqoop codegen \
--connect jdbc:mysql://bigdata112:3306/test \
--username root \
--password 000000 \
--table student \
--bindir /opt/Desktop/student \
--class-name Student \
--fields-terminated-by "\t"

开始合并：注：是hdfs路径
$ bin/sqoop merge \
--new-data /new/ \
--onto /old/ \
--target-dir /test/merged1 \
--jar-file /opt/Desktop/student/Student.jar \
--class-name Student \
--merge-key id
结果：
1   AAA MALE
2   BBB MALE
3   CCC MALE
4   DDD MALE
6   DDD FEMALE

参数：

image.png

5.2.15、命令&参数：metastore
记录了Sqoop job的元数据信息，如果不启动该服务，那么默认job元数据的存储目录为~/.sqoop，可在sqoop-site.xml中修改。
命令：
如：启动sqoop的metastore服务

$ bin/sqoop metastore

参数：

image.png

下一篇：101-BigData-29Azkaban

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,015评论 4赞 362
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,262评论 1赞 292
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,727评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,986评论 0赞 205
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,363评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,610评论 1赞 219
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,871评论 2赞 312
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,582评论 0赞 198
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,297评论 1赞 242
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2赞 246
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1赞 260
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,385评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,035评论 3赞 236
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0赞 195
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2赞 274
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2赞 270

推荐阅读更多精彩内容

  • 【sqoop-部署】快速入门（安装与使用）
    Sqoop是一种用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop从关系数据库管理系统...
    粮忆雨阅读 1,937评论 0赞 2
  • sqoop 命令
    1/列出mysql数据库中的所有数据库sqoop list-databases -connect jdbc:mys...
    时待吾阅读 2,687评论 1赞 5
  • 大数据学习笔记1000条
    Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,146评论 0赞 34
  • 读《朝花夕拾》
    墓碣文中的自己，往往要比事实中的更加真实，这是生命结束后，别人对你最直白的评论，扶心自食，预知本味，创痛酷烈，...
    施晨曦同学阅读 495评论 0赞 0
  • 被疗愈的疗愈者
    又一次见证了上界的绝妙安排。虽然已经无数次，却次次都不得不佩服与惊叹！ 在疗愈的道路上，我面对了在其它道路上同样的...
    小妖Genie阅读 813评论 0赞 0