数据导入算子用于配置拉取数据的数据源,产出为逻辑表。

说明 数据源相关说明请参见数据源;逻辑表相关说明请参见逻辑表
数据导入算子

支持数据源

数据导入算子支持RDS for MySQL、MaxCompute、LogService以及Elasticsearch数据源。

在添加数据导入算子时,需要注意:
  • 需要为产出的逻辑表设置主键。
  • RDS for MySQL需要在VPC网络下,数据库版本需要为5.6,暂时不支持5.7。
  • MaxCompute必须有分区,设置数据导入算子时需填写全部分区信息,多个分区间以英文逗号分割。
  • LogService需要用户自己手动添加逻辑表字段,并为字段设置类型。
  • Elasticsearch只需要设置产出逻辑表名称,不需要设置逻辑表结构。

数据导入类型

编辑数据导入算子
数据导入算子支持以下两种配置:
  • 全量

    从数据源中,将当前时刻已有的数据导入到目标Elasticsearch中,导入完成即任务完成。

  • 增量

    从任务运行起,一直监控数据源中的数据信息变化,同步到目标Elasticsearch。任务不会停止,除非在控制台手动停止任务。

在配置导入算子时,根据数据源类型可选组合如下。
表 1. 全量与增量的组合
全量 增量
MySQL
MySQL
MySQL MySQL
MaxCompute
MaxCompute LogService
LogService
Elasticsearch