ElasticFlow通过读取数据源中的信息来拉取对应数据,再进行数据处理发送至下游。数据源与数据处理任务的配置是分开的,即可以先配置好数据源,再在配置数据处理任务时,指定配置好的数据源,完成数据的同步和处理。

数据源类型

ElasticFlow支持以下四种类型的阿里云数据源,部分类型的数据源需要进行一次访问授权,在创建数据源时可以根据控制台提示引导完成。
  • RDS for MySQL

    您可以将阿里云上的RDS实例ID、数据库名、以及具备读权限的账号密码配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时,指定该数据源中需要同步的数据表名。完成以上步骤并启动任务后,ElasticFlow将从配置的数据源表中拉取数据。

    添加RDS for MySQL数据源
  • MaxCompute

    您可以将阿里云上的MaxCompute项目名,以及具备读权限的Access key/secret配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时,指定该数据源中需要拉取数据的表名。完成以上步骤并启动任务后,ElasticFlow将从配置的数据源表中拉取数据。

    新建MaxCompute数据源
  • LogService
    您可以将阿里云上的LogService项目名配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时,指定该数据源中需要拉取数据的表名。完成以上步骤并启动任务后,ElasticFlow将从配置的数据源表中拉取数据。
    说明 ElasticFlow不支持LogService的Shard扩容和缩容,如果分裂或者合并了某个数据同步任务正在使用的Shard,会导致数据丢失或者同步任务出错。有关Shard的具体操作,请参见操作Shard
    新建LogService数据源
  • Elasticsearch

    您可以将阿里云上的Elasticsearch实例ID,以及具备读权限的Access key/secret配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时,指定该数据源中需要拉取数据的表名。完成以上步骤并启动任务后,ElasticFlow将从配置的数据源表中拉取数据。

    新建Elasticsearch数据源

数据源管理

数据源列表页面,您可以创建、搜索、编辑、删除数据源。创建数据源详情请参见创建数据源(跨云服务授权)数据源列表