全部产品
云市场

使用kettle将本地数据导入分析型数据库MySQL版

更新时间:2019-04-29 15:51:33

背景信息

Kettle是一款非常受欢迎的开源ETL工具软件,主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展,kettle可以支持各类数据源。

本文以Excel为例,介绍如何通过kettle将本地Excel数据迁移到分析型数据库MySQL版。

准备工作

使用Kettle将本地Excel数据导入分析型数据库MySQL版之前,需要完成以下准备工作。

操作步骤

  1. 在kettle中新建一个转换。

  2. 在转换中新建一个数据库连接,详细的参数配置如下表所示。

    配置参数时,不要勾选Use Result Streaming Cursor

    数据库连接

    配置项 说明
    连接名称 数据连名
    连接类型 选择MySQL
    连接方式 选择Native(JDBC)
    主机名 分析型数据库MySQL版的连接地址
    数据库名称 分析型数据库MySQL版的名字
    端口号 连接地址对应的端口号
    用户名 AccessKey ID
    密码 Access Key Secret
  3. 完成上述参数配置后,单击测试测试连通性,测试通过后单击确认

  4. 在kettle左侧核心对象输入中,找到Excel输入,并将其拖动入到工作区。

    excel

  5. 双击工作区的Excel输入,在Excel输入对话框中,先单击浏览上传需要导入的Excel表格,再单击增加将其添加到选中的文件中。

    e1

    根据实际需要设置工作表内容字段等选项卡,单击预览记录查看输入的数据是否符合要求。

  6. 在kettle左侧核心对象输出中,找到表输出,并将其拖动入到工作区。

    表

  7. 新建一条Excel输入表输出的连接线。

    连接

  8. 双击表输出,在表输出对话框中进行参数配置。

    输出

    • 目标模式:分析型数据库MySQL版的名字,不支持浏览选择。
    • 目标表:分析型数据库MySQL版中的表,不支持浏览选择。
    • 勾选指定数据库字段。
    • 勾选使用批量插入。

    表输出数据库字段选项卡中,单击获取字段输入字段映射,映射Excel文件的列与分析型数据库MySQL版中表的列名间的映射关系。

    表二

  9. 单击白色三角箭头运行转换,观察运行日志和运行状态。

待本地数据成功导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。

更多信息