本文以Excel为例,介绍如何通过kettle将本地Excel数据迁移到云原生数据仓库 AnalyticDB MySQL 版2.0集群。
背景信息
Kettle是一款非常受欢迎的开源ETL工具软件,主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展,kettle可以支持各类数据源。
准备工作
使用Kettle将本地Excel数据导入云原生数据仓库 AnalyticDB MySQL 版2.0集群之前,需要完成以下准备工作。
在本地主机中安装kettle。
在云原生数据仓库 AnalyticDB MySQL 版2.0集群中创建目标数据库、表组和表。关于如何创建云原生数据仓库 AnalyticDB MySQL 版2.0集群的数据库和表组,请参见快速入门-开通分析型数据库MySQL版服务、创建表组和创建表。
操作步骤
在kettle中新建一个转换。
在转换中新建一个数据库连接,详细的参数配置如下表所示。
配置参数时,不要勾选Use Result Streaming Cursor。
连接名称
数据连名
连接类型
选择MySQL
连接方式
选择Native(JDBC)
主机名
云原生数据仓库 AnalyticDB MySQL 版2.0集群的连接地址
数据库名称
云原生数据仓库 AnalyticDB MySQL 版2.0集群的名字
端口号
连接地址对应的端口号
用户名
AccessKey ID
密码
Access Key Secret
完成上述参数配置后,单击测试测试连通性,测试通过后单击确认。
在kettle左侧核心对象的输入中,找到Excel输入,并将其拖动入到工作区。
工作区的Excel输入,在Excel输入对话框中,先单击浏览上传需要导入的Excel表格,再单击增加将其添加到选中的文件中。
根据实际需要设置工作表、内容、字段等选项卡,单击预览记录查看输入的数据是否符合要求。
在Kettle左侧核心对象的输出中,找到表输出,并将其拖动到工作区。
新建一条Excel输入到表输出的连接线。
双击表输出,在表输出对话框中进行参数配置。
目标模式:云原生数据仓库 AnalyticDB MySQL 版2.0集群的名字,不支持浏览选择。
目标表:云原生数据仓库 AnalyticDB MySQL 版2.0集群中的表,不支持浏览选择。
勾选指定数据库字段。
勾选使用批量插入。
在表输出的数据库字段选项卡中,单击获取字段和输入字段映射,映射Excel文件的列与云原生数据仓库 AnalyticDB MySQL 版2.0集群中表的列名间的映射关系。
单击白色三角箭头运行转换,观察运行日志和运行状态。
待本地数据成功导入云原生数据仓库 AnalyticDB MySQL 版2.0集群后,您就可以使用云原生数据仓库 AnalyticDB MySQL 版进行数据分析。