【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中

1.简介

    Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

     要使用Sqoop需要JDK并且机器能正常操作Hadoop集群,因为Sqoop底层会将命令换为MapReduce代码,然后将其提交到Hadoop集群中去执行。

Sqoop目前有两个版本,完全不兼容。1.4.x为Sqoop1，1.99.x为Sqoop2，区别如下：
- Spoop1: Sqoop1只是一个客户端工具,负责将用户提交的命令转为MapReduce任务执行,从而实现关系型数据库何HDFS的相互导入/导出功能，相对Spoop2稳定性高，更轻量级。
- Sqoop2: 引入了服务端，对Connector实现了集中的管理，完善了权限机制，支持多种交互方式:命令行、Web UI和REST API。

此文以Sqoop1为介绍，Sqoop中两大核心模块如下，工作流程原理如下图

• 导入: 从关系型数据库将数据导入HDFS。
• 导出: 从HDFS中将数据导出到关系数据库中。
  

2.Sqoop环境配置

本文机器使用的JDK8环境，使用的Sqoop1.4.7版本,Hadoop3.2.4.环境已提前安装好。
下载地址: https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2.1.下载完然后上传到服务器 /home/soft/目录下解压

tar -zxvf  sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
cd  sqoop-1.4.7.bin__hadoop-2.6.0
1
2

2.2.配置Sqoop环境变量

vi /etc/profile
export SQOOP_HOME=/home/soft/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin
1
2
3

让环境变量生效

source /etc/profile
1

2.3.添加依赖包

• 1.由于使用Sqoop操作mysql数据库,所以需要把MySQLl驱动包添加到Sqoop的lib目录下。
• 2.需要在lib目录下添加commons-lang-2,6.jar包，不然会报下图错误
  
  添加完如下图
  

2.4.开放MySQL的远程访问
如果测试的时候在一台机器上面请忽略下面

#赋远程访问权限
use mysql
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';
#刷新权限
flush privileges;
1
2
3
4
5

3.Sqoop常用参数

3.1.通用参数

3.2.数据导入相关参数

3.3.数据导出相关参数

4.测试

4.1.导入表数据到HDFS

数据导入分为全表导入和条件导入。

在mysql数据库中添加测试用的数据

create database sqoop;
use sqoop;
create table user(id int(10) primary key,name varchar(32));
insert into user values(1,'test'),(2,'admin'),(3,'superadmin');
1
2
3
4

4.1.1.使用Sqoop将user表所有数据导入HDFS中

bin/sqoop import \
--connect jdbc:mysql://192.168.239.128:3306/sqoop \
--username root \
--password 123456 \
--table user \
--target-dir /user1 \
--delete-target-dir \
--fields-terminated-by '\t'
1
2
3
4
5
6
7
8

执行完可以看到HDFS中已经有user1这个目录,并且能看到_SUCCESS成功标识文件

4.1.2.使用Sqoop将user表符合条件指定列的数据导入HDFS中

bin/sqoop import \
--connect jdbc:mysql://192.168.239.128:3306/sqoop \
--username root \
--password 123456 \
--target-dir /user2 \
--delete-target-dir \
--fields-terminated-by '\t' \
--query 'select id,name from user where id>1 and $CONDITIONS' \
--split-by id
1
2
3
4
5
6
7
8
9

• 1.在使用–query指定SQL语句的时,其中必须包含$CONDITIONS
• 2.--query和--table不能同时使用
• 3.使用–query需要使用–split-by指定哪列进行任务拆分或使用–num-mappers 1让Map任务只有1个

4.2.导出表数据到mysql中

创建一个表结构和user一样的新表

create table export_user(id int(10) primary key,name varchar(32));
1

使用Sqoop将HDFS中的user表数据导出到MySQL中的export_user表中

bin/sqoop export \
--connect jdbc:mysql://192.168.239.128:3306/sqoop \
--username root \
--password 123456 \
--export-dir /user1 \
--table export_user \
--fields-terminated-by '\t' 

1
2
3
4
5
6
7
8

看到下面的表示任务已经成功处理完，使用mysql客户端工具查看表数据可以看到重HDFS导出的数据。

5.DataX迁移工具

    DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX githun地址: https://github.com/alibaba/DataX
DataX 详细介绍: https://github.com/alibaba/DataX/blob/master/introduction.md

【Hadoop生态圈】其它文章如下,后续会继续更新。

• 1.Hadoop入门教程及集群环境搭建
• 2.使用Flume采集日志数据到HDFS中
• 3.Zookeeper入门教程及集群环境搭建
• 4.Kafka入门教程及集群环境搭建
• 5.HBase列存储数据库入门教程及集群环境搭建
• 6.MapReduce离线计算引擎入门教程
• 7.离线OLAP引擎Hive入门教程
• 8.Flink实时计算引擎入门教程
• 9.使用Maxwell实时采集MySQL数据到Kafka中
• 10.使用Sqoop迁移MySQL数据到HDFS中