使用kettle将本地数据导入AnalyticDB for MySQL 2.0

本文以Excel为例,介绍如何通过kettle将本地Excel数据迁移到云原生数据仓库 AnalyticDB MySQL 版2.0集群。

背景信息

Kettle是一款非常受欢迎的开源ETL工具软件,主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展,kettle可以支持各类数据源。

准备工作

使用Kettle将本地Excel数据导入云原生数据仓库 AnalyticDB MySQL 版2.0集群之前,需要完成以下准备工作。

操作步骤

  1. 在kettle中新建一个转换。

  2. 在转换中新建一个数据库连接,详细的参数配置如下表所示。

    配置参数时,不要勾选Use Result Streaming Cursor1

    连接名称

    数据连名

    连接类型

    选择MySQL

    连接方式

    选择Native(JDBC)

    主机名

    云原生数据仓库 AnalyticDB MySQL 版2.0集群的连接地址

    数据库名称

    云原生数据仓库 AnalyticDB MySQL 版2.0集群的名字

    端口号

    连接地址对应的端口号

    用户名

    AccessKey ID

    密码

    Access Key Secret

  3. 完成上述参数配置后,单击测试测试连通性,测试通过后单击确认

  4. 在kettle左侧核心对象输入中,找到Excel输入,并将其拖动入到工作区。2

  5. 工作区的Excel输入,在Excel输入对话框中,先单击浏览上传需要导入的Excel表格,再单击增加将其添加到选中的文件中。3

    根据实际需要设置工作表、内容、字段等选项卡,单击预览记录查看输入的数据是否符合要求。

  6. 在Kettle左侧核心对象输出中,找到表输出,并将其拖动到工作区。4

  7. 新建一条Excel输入表输出的连接线。5

  8. 双击表输出,在表输出对话框中进行参数配置。6

    • 目标模式:云原生数据仓库 AnalyticDB MySQL 版2.0集群的名字,不支持浏览选择。

    • 目标表:云原生数据仓库 AnalyticDB MySQL 版2.0集群中的表,不支持浏览选择。

    • 勾选指定数据库字段。

    • 勾选使用批量插入。

    表输出数据库字段选项卡中,单击获取字段输入字段映射,映射Excel文件的列与云原生数据仓库 AnalyticDB MySQL 版2.0集群中表的列名间的映射关系。8

  9. 单击白色三角箭头运行转换,观察运行日志和运行状态。

    待本地数据成功导入云原生数据仓库 AnalyticDB MySQL 版2.0集群后,您就可以使用云原生数据仓库 AnalyticDB MySQL 版进行数据分析。

相关信息