ElasticFlow通过读取数据源中的信息来拉取对应数据,再进行数据处理发送至下游。数据源与数据处理任务的配置是分开的,即可以先配置好数据源,再在配置数据处理任务时指定之前配置好的数据源。

数据源类型

ElasticFlow支持以下四种类型的阿里云数据源,部分类型的数据源需要做一次访问授权,在创建数据源时可以根据控制台提示引导完成:
  • RDS for MySQL

    可以将阿里云上的RDS实例ID、数据库名以及具备读权限的账号密码配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时指定该数据源中需要拉取数据的表名,完成以上步骤并启动任务后将从配置的数据源表中拉取数据。



  • MaxCompute

    可以将阿里云上的MaxCompute项目名以及具备读权限的access key/secret配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时指定该数据源中需要拉取数据的表名,完成以上步骤并启动任务后将从配置的数据源表中拉取数据。



  • LogService
    可以将阿里云上的LogService项目名配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时指定该数据源中需要拉取数据的表名,完成以上步骤并启动任务后将从配置的数据源表中拉取数据。
    说明 不支持LogService的Shard扩容和缩容,如果分裂或者合并了某个数据同步任务正在使用的Shard,会导致数据丢失或者同步任务出错。有关Shard的具体操作,请参见操作Shard


  • ElasticSearch

    可以将阿里云上的ElasticSearch实例ID以及具备读权限的access key/secret配置到ElasticFlow中,作为一个数据源。再在创建数据同步任务时指定该数据源中需要拉取数据的表名,完成以上步骤并启动任务后将从配置的数据源表中拉取数据。



数据源管理

在数据源管理页面,您可以创建、搜索、编辑、删除数据源。有关创建数据源,详情请参见创建数据源(跨云服务授权)