数据导入算子用于配置拉取数据的数据源,产出为逻辑表

支持数据源

数据导入算子支持以下数据源:
  • RDS for MySQL
  • MaxCompute
  • LogService
  • Elasticsearch
说明
  • 需要为产出的逻辑表设置主键。
  • RDS for MySQL需要在VPC网络下,数据库版本需要为5.6,暂时不支持5.7。
  • MaxCompute必须有分区,设置数据导入算子时需填写全部分区信息,多个分区间以英文逗号分割。
  • LogService需要用户自己手动添加逻辑表字段,并为字段设置类型。
  • Elasticsearch只需要设置产出逻辑表名称,不需要设置逻辑表结构。

数据导入类型



数据导入算子支持以下两种配置:
  • 全量

    从数据源中将当前时刻已有的数据导入到目标Elasticsearch中,导入完成即任务完成。

  • 增量

    从任务运行起,一直监控数据源中的数据信息变化,同步到目标Elasticsearch。任务不会停止,除非在控制台手动停止任务。

全量与增量的组合
在配置导入算子时,根据数据源类型可选组合如下:
全量 增量
MySQL
MySQL
MySQL MySQL
MaxCompute
MaxCompute LogService
LogService
Elasticsearch