文件存储 HDFS 版和数据库MySQL双向数据迁移

将文件存储 HDFS 版的数据迁移到MySQL，需要先在MySQL上创建好对应数据结构的表，然后在集群Sqoop节点上使用sqoop export命令进行迁移。

此处以迁移文件存储HDFS版/sqoop2mysql/table/mysqltest.txt中的数据为例，mysqltest.txt中已写入如下数据。

6,测试用户6,2019-08-10,男
7,测试用户7,2019-08-11,男
8,测试用户8,2019-08-12,男
9,测试用户9,2019-08-13,女
10,测试用户10,2019-08-14,女

1. 执行create database sqoop_migrate;命令，创建MySQL数据库。

2. 执行以下命令，创建表。

   use sqoop_migrate;
   CREATE TABLE `employee` (
     `e_id` varchar(20) NOT NULL DEFAULT '',
     `e_name` varchar(20) NOT NULL DEFAULT '',
     `e_birth` varchar(20) NOT NULL DEFAULT '',
     `e_sex` varchar(10) NOT NULL DEFAULT '',
     PRIMARY KEY (`e_id`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

3. 执行以下命令，迁移数据。

    sqoop export --connect jdbc:mysql://localhost:3306/sqoop_migrate  --username 'userName' --password 'userPW'  --num-mappers 1  --table employee  --columns "e_id,e_name,e_birth,e_sex"  --export-dir '/sqoop2mysql/table/mysqltest.txt'  --fields-terminated-by ',' 

   迁移命令格式：sqoop export --connect jdbc:mysql://<dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hdfs-dir>

   参数	说明
   dburi	数据库的访问连接。例如jdbc:mysql://localhost:3306/。如果您的访问连接中含有参数，则请加上单引号，例如'jdbc:mysql://localhost:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。
   dbname	数据库的名字，例如user。
   username	数据库登录用户名。
   password	用户密码。
   tablename	MySQL数据库中表的名称。
   hdfs-dir	存放待迁移数据的文件存储 HDFS 版目录。

4. 验证迁移结果。

   执行select * from employee;命令查看表数据。如果表中有如下数据，则表示迁移成功。

在集群Sqoop节点上，使用sqoop import命令将MySQL中的数据迁移到文件存储 HDFS 版上。

此处以迁移MySQL中的employee表为例，employee表中已写入如下数据。

1. 执行以下命令迁移数据。

   sqoop import --connect jdbc:mysql://localhost:3306/sqoop_migrate --username 'userid' --password 'userPW' --table employee  --target-dir /mysql2sqoop/table/sqoop_migrate  --num-mappers 1  --columns "e_id,e_name,e_birth,e_sex"  --direct

   命令格式：sqoop import --connect jdbc:mysql://<dburi>/<dbname> --username <username> --password <password> --table <tablename> --check-column <col> --incremental <mode> --last-value <value> --target-dir <hdfs-dir>

   参数说明如下所示，更多信息，请参见Sqoop Import。

   参数	说明
   dburi	数据库的访问连接。例如jdbc:mysql://172.x.x.x:3306/。 如果您的访问连接中含有参数，则请加上单引号。例如'jdbc:mysql://172.x.x.x.235:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。
   dbname	数据库的名字。例如user。
   username	数据库登录用户名。
   password	用户密码。
   tablename	MySQL数据库中表的名称。
   col	迁移表中列的名称。
   mode	该模式决定Sqoop如何定义哪些行为新的行。取值为append或lastmodified。
   value	前一个导入中检查列的最大值。
   hdfs-dir	文件存储 HDFS 版的写入目录。

2. 检查迁移结果。

   1. 执行hadoop fs -ls /mysql2sqoop/table/sqoop_migrate命令，获取迁移文件信息。

   2. 执行hadoop fs -cat /mysql2sqoop/table/sqoop_migrate/part-m-00000命令查看文件中的内容。

      如果part-m-00000文件中有如下内容，则表示迁移成功。

在集群Sqoop节点上使用sqoop import命令可以将MySQL上的数据迁移到Hive上。

此处以迁移MySQL中的employee表为例，employee表中已写入如下数据。

1. 执行以下命令迁移数据。

   sqoop import --connect jdbc:mysql://localhost:3306/sqoop_migrate --username 'userid' --password 'PW'   --table employee   --hive-import --hive-database default  --create-hive-table --hive-overwrite  -m 1

   迁移命令格式：sqoop import --connect jdbc:mysql://<dburi>/<dbname> --username <username> --password <password> --table <tablename> --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --target-dir <hdfs-dir> --hive-table <hive-tablename>

   参数	说明
   dburi	数据库的访问连接。例如jdbc:mysql://localhost:3306/。如果您的访问连接中含有参数，则请加上单引号，例如'jdbc:mysql://localhost:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。
   dbname	数据库的名字。例如user。
   username	数据库登录用户名。
   password	用户密码。
   tablename	MySQL数据库中表的名称。
   hdfs-dir	文件存储 HDFS 版的写入目录。
   hive-tablename	对应的Hive中的表名。

2. 验证迁移结果。

   执行select * from default.employee;命令查看表数据，如果表中有如下数据，则表示迁移成功。

将Hive的数据迁移到MySQL上，需要先在MySQL上创建好对应Hive数据结构的表，然后在集群Sqoop节点上使用sqoop export命令进行迁移。

此处以迁移Hive上default.employee中的数据为例，该表中已写入如下数据。

1. 在MySQL上的sqoop_migrate库中创建要导入的表。

   use sqoop_migrate;
   CREATE TABLE `employee_from_hive`(
     `id` VARCHAR(20),
     `name` VARCHAR(20) NOT NULL DEFAULT '',
     `birth` VARCHAR(20) NOT NULL DEFAULT '',
     `sex` VARCHAR(10) NOT NULL DEFAULT '',
     PRIMARY KEY(`id`)
   );

2. 执行DESCRIBE FORMATTED default.employee;命令查看表信息。

3. 执行以下命令迁移数据。

   sqoop export --connect jdbc:mysql://localhost:3306/sqoop_migrate --username 'userid' --password 'userPW' --table employee_from_hive -m 1 --fields-terminated-by '\0001'  --export-dir /user/hive/warehouse/employee

   迁移命令格式：sqoop export --connect jdbc:mysql://<dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hive-dir> --fields-terminated-by <Splitter>

   参数	说明
   dburi	数据库的访问连接。例如jdbc:mysql://localhost:3306/。如果您的访问连接中含有参数，则请加上单引号，例如'jdbc:mysql://localhost:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。
   dbname	数据库的名字，例如user。
   username	数据库登录用户名。
   password	用户密码。
   tablename	MySQL数据库中表的名称。
   hive-dir	存放待迁移数据的文件存储 HDFS 版目录。
   Splitter	Hive表数据使用的分隔符。

4. 验证迁移结果。

   执行select * from sqoop_migrate.employee_from_hive;命令查看表数据。如果表中有如下数据，则表示迁移成功。