文档

流式ETL

更新时间:

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具 。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率,丰富企业实时数据处理和计算场景,赋能企业数字化转型。

为什么选择ETL

  • ETL支持通过DAG模式和Flink SQL模式配置任务。

    • DAG模式

      • 可视化处理编辑:ETL任务界面当前提供三种组件(输入/维表、转换、输出),简单拖拽组件即可快速搭建流处理任务。

      • 丰富的开发组件:

        • 输入/维表组件(即源库)支持自建MySQL、RDS MySQLPolarDB MySQL版PolarDB-X 1.0(原DRDS)、自建Oracle、自建PostgreSQL、RDS PostgreSQLDb2 for LUWDb2 for iPolarDB PostgreSQL版

        • 转换组件目前支持表JOIN、90多种函数计算和字段过滤。

        • 输出组件(即目标库)当前支持自建MySQL、RDS MySQLPolarDB MySQL版云原生数据仓库AnalyticDB MySQL版 3.0、自建Oracle、自建PostgreSQL、RDS PostgreSQLDb2 for LUWDb2 for iPolarDB PostgreSQL版

    • Flink SQL模式

      ETL支持使用Flink SQL语言(符合标准SQL语义的开发语言)配置任务。

  • 行业领先的计算时效:通过DTS强大的数据库流式数据采集能力,ETL既能保障数据的准确性,同时还具备行业领先的计算实效性。

  • 灵活的任务监控与管理:ETL提供任务列表页供您进行任务监控和管理,能够对已经搭建的任务进行启停、查看详情等操作。

应用场景

  • 多地域或异构数据实时集中:将多地域或者异构数据实时存储至同一数据库中,便于企业中心化高效管理及决策支持。

  • 实时数据集成:ETL强大的流式数据转换处理能力大幅提升数据集成效率,低代码的开发方式也进一步降低了数据集成的难度和成本,让企业专注于数据价值实现。

  • 实时数据仓库:行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。

  • 离线数仓加速:通过流数据处理先将数据预处理至数仓,后续再对数仓数据进行深度挖掘。既不影响业务库运行,也能满足离线数仓对外服务。

  • 报表提速:构建实时报表体系,不仅大幅提升报表产出效率,还能支持更多实时分析场景,满足了企业数字化转型阶段对报表产出效率的高要求。

  • 实时计算场景:对业务侧产生的流数据实时清洗处理,形成特征值、标签支持在线业务计算模型(画像、风控、推荐等)或实时大屏等流计算场景。

优惠活动

通过DAG和Flink SQL模式配置ETL任务的功能即将下线,仅部分用户可以免费体验,未曾使用过该功能的用户已无法体验,建议您在同步或迁移实例中配置ETL任务。更多信息,请参见在DTS迁移或同步任务中配置ETL

重要
  • 每个账号可以免费创建两个ETL实例,且每个实例在公测期间均免费使用。

  • 公测结束后,继续运行的实例将开始收费。公测结束时间将会提前以公告、短信等方式进行通知。

说明文档