使用kettle将本地数据导入AnalyticDB for MySQL 2.0

背景信息

Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展，kettle可以支持各类数据源。

准备工作

操作步骤

1. 在kettle中新建一个转换。

2. 在转换中新建一个数据库连接，详细的参数配置如下表所示。

   配置参数时，不要勾选Use Result Streaming Cursor。

   连接名称	数据连名
   连接类型	选择MySQL。
   连接方式	选择Native（JDBC）。
   主机名	云原生数据仓库 AnalyticDB MySQL 版2.0集群的连接地址。
   数据库名称	云原生数据仓库 AnalyticDB MySQL 版2.0集群的数据库名称。
   端口号	连接地址对应的端口号。
   用户名	AccessKey ID。
   密码	Access Key Secret。

3. 完成上述参数配置后，单击测试测试连通性，测试通过后单击确认。

4. 在kettle左侧核心对象的输入中，找到Excel输入，并将其拖动入到工作区。

5. 工作区的Excel输入，在Excel输入对话框中，先单击浏览上传需要导入的Excel表格，再单击增加将其添加到选中的文件中。在表格类型(引擎)下拉框中选择Excel 97-2003 XLS (JXL)。

   根据实际需要设置工作表、内容、字段等选项卡，单击预览记录查看输入的数据是否符合要求。

6. 在Kettle左侧核心对象的输出中，找到表输出，并将其拖动到工作区。

7. 新建一条Excel输入到表输出的连接线。

8. 双击表输出，在表输出对话框中进行参数配置。将数据库连接选择为ads，将目标表设置为student_info。

   • 目标模式：云原生数据仓库 AnalyticDB MySQL 版2.0集群的名称，不支持浏览选择。

   • 目标表：云原生数据仓库 AnalyticDB MySQL 版2.0集群中的表，不支持浏览选择。

   • 勾选指定数据库字段。

   • 勾选使用批量插入。

   在表输出的数据库字段选项卡中，单击获取字段和输入字段映射，映射Excel文件的列与云原生数据仓库 AnalyticDB MySQL 版2.0集群中表的列名间的映射关系：用户名→yhm、密码→password、真实姓名→realname、院系→yx、班级→bj、学号→xh，可通过猜一猜自动匹配或手动添加映射。

9. 单击白色三角箭头运行转换，观察运行日志和运行状态。

   待本地数据成功导入云原生数据仓库 AnalyticDB MySQL 版2.0集群后，您就可以使用云原生数据仓库 AnalyticDB MySQL 版进行数据分析。

相关信息

• 使用DTS同步RDS MySQL数据

• 使用数据集成迁移数据至分析型数据库MySQL版

• 使用kettle将本地数据导入分析型数据库MySQL版

• 在程序中通过AnalyticDB MySQL版Client高效写入数据