Sqoop基本操作

目录

 

一、mysql->hdfs

二、hdfs->mysql

三、mysql->hive

四、hive->mysql

五、sqoop job操作

---

 

一、mysql->hdfs

(1)全表导入

sqoop import --connect jdbc:mysql://127.0.0.1:3306/test \
--username root --P \
--table student1 --target-dir '/sqoop/student1' \
--driver com.mysql.jdbc.Driver -m 1

 使用--P会提示输入密码，也可使用--password，后面直接跟上密码，如--password root。

 (2)满足条件的导入

sqoop import --connect "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8"  \
--username root --password root \
--table student1 --columns 'xm,bj' \
--where 'bj like "生物%"' \
--target-dir '/sqoop/student1' --driver com.mysql.jdbc.Driver \
-m 1 --delete-target-dir

(3)增量导入(按自动增长的整数列)

sqoop import --connect jdbc:mysql://127.0.0.1:3306/test \
--username root --password root  \
--table t1 --target-dir '/sqoop/t1' --driver com.mysql.jdbc.Driver -m 1 \
--check-column id --incremental append --last-value 1

二、hdfs->mysql

sqoop export --connect "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8" \
--username root --password root \
--export-dir '/sqoop/sqoopex1.txt' --table sqoop1 \
--input-fields-terminated-by '\t' --driver com.mysql.jdbc.Driver

三、mysql->hive

(1)全表导入

sqoop import --connect jdbc:mysql://localhost:3306/test \
--username root --password root  --table student1  \
--hive-import    --hive-table student1 --hive-database hive1 \
--driver com.mysql.jdbc.Driver  --delete-target-dir  -m 1

(2)满足条件导入

sqoop import --connect jdbc:mysql://localhost:3306/test \
--username root --password root  --table student1 \
--columns 'xm,bj' --where 'bj like "生物%"'  --hive-import  \
--hive-table student1 --hive-database hive1 \
--driver com.mysql.jdbc.Driver  --delete-target-dir  -m 1

四、hive->mysql

可转换为hdfs->mysql

五、sqoop job操作

(1)建立mysql密码文件，再创建job，否则执行时会提示输入密码

#root代表数据库密码，可根据需求改成自己的mysql密码
echo -n "root" > .mysql.password

(2)创建job

sqoop job --create job1 -- import --connect jdbc:mysql://localhost:3306/test \
--username root --password-file file:///home/hadoop/temp/.mysql.password  \
--table t1 --target-dir /sqoop/t1 --driver com.mysql.jdbc.Driver -m 1 \
--check-column id --incremental append --last-value 0 --verbose

(3)查看job

sqoop job --show job1
 
 
sqoop job --list

(4)执行job

sqoop job --exec job1

(5)删除执行完的job

sqoop job --delete job1