无感数据集成（Zero-ETL）

AnalyticDB for MySQL提供无感集成（Zero-ETL）功能，支持创建PolarDB MySQL版集群至AnalyticDB for MySQL集群的数据同步链路，帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化。

方案概述

在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。

ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。

传统的ETL流程通常会面临以下挑战：

• 资源成本增加：不同的数据源可能需要不同的ETL工具，搭建ETL链路会产生额外的资源成本。

• 系统复杂度增加：用户需要自行维护ETL工具，增加了运维难度，无法专注于业务应用的开发。

• 数据实时性降低：部分ETL流程涉及周期性的批量更新，在近实时的应用场景中，无法快速产出分析结果。

为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据同步和管理，实现事务处理和数据分析一体化，帮助客户专注于数据分析业务。

方案优势

• 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。

• 零成本：Zero-ETL链路不额外收费，可免费实现在AnalyticDB for MySQL中对上游数据进行分析。

• 多源汇聚：通过Zero-ETL链路将多个实例中的数据实时同步至一个AnalyticDB for MySQL集群中，构建全局分析视角。

支持的同步链路

PolarDB MySQL版集群至AnalyticDB for MySQL集群的同步链路。

前提条件

• AnalyticDB for MySQL集群与PolarDB MySQL版集群位于同一地域。具体操作，请参见购买集群。

• 已为PolarDB MySQL版集群创建数据库账号。具体操作，请参见创建数据库账号。

• PolarDB MySQL版集群已开启Binlog。

使用限制

仅部分地域支持无感集成（Zero-ETL）功能：华北2（北京）、华东1（杭州）、华东2（上海）、华南1（深圳）。

费用说明

同步链路不收取费用。

准备工作

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:*",
                "acs:polardb:*:*:*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": [
                "acs:dts:*:*:*"
            ]
        }
    ]
}

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:dbcluster/am-2zeod8ax4b9a****",
                "acs:polardb:*:*:dbcluster/pc-bp13jqn4a26b0****"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": "acs:dts:*:*:*"
        }
    ]
}

操作步骤

1. 登录PolarDB控制台。

2. 在左侧导航栏单击数据集成。

3. 在数据集成页面中的无感数据集成 (Zero-ETL)页签，单击创建Zero-ETL任务。

4. 在创建Zero-ETL任务页面配置源库及目标库。

   • 配置源库信息：

     源库信息	说明
     任务名称	Zero-ETL任务名称。
     数据库类型	选择PolarDB for MySQL。
     接入方式	仅支持云实例。
     实例地区	PolarDB MySQL版集群所属地域。
     PolarDB实例ID	PolarDB MySQL版集群ID。
     数据库账号	PolarDB MySQL版集群数据库账号。
     数据库密码	PolarDB MySQL版集群数据库账号的密码。
     连接方式	连接PolarDB MySQL版集群的方式。包括非加密链接和SSL安全链接。 说明 如果设置为SSL安全连接，您需要提前开启PolarDB MySQL版集群的SSL加密功能，详情请参见设置SSL加密。

   • 配置目标库信息：

     目标库信息	说明
     数据库类型	当前目标库仅支持AnalyticDB MySQL 3.0。
     接入方式	仅支持云实例。
     实例地区	AnalyticDB for MySQL集群所属的地域。
     实例ID	AnalyticDB for MySQL集群ID。
     数据库账号	AnalyticDB for MySQL集群的数据库账号。
     数据库密码	AnalyticDB for MySQL集群数据库账号的密码。

5. 上述参数配置完成后，单击测试连接以进行下一步，进入配置Zero-ETL页面，配置如下参数：

   配置项目	说明
   实例级别选择所需同步的DDL和DML	勾选所需同步的DML操作（insert、update和delete）和DDL操作（create、alter、drop和truncate），默认全部勾选。
   源库对象	PolarDB MySQL版集群中需进行同步的对象。
   已选择对象	PolarDB MySQL版集群中已选择需要进行同步的对象。 说明 您可以通过单击右上角的批量编辑来对同步对象进行重命名，或者配置DML和DDL操作，详情请参见库表列名映射。
   高级配置（选填）	设置源库、目标库无法连接后的重试时间和源库、目标库出现其他问题后的重试时间。

6. 上述参数配置完成后，单击下一步配置库表字段，配置信息如下：

   库表字段配置	说明
   数据库名称	已选数据库。
   表名称	已选数据表。
   主键列	已选数据表中的主键所在字段。
   分布键	已选数据表中的分布键所在字段。
   类型	数据表类型，包括分区表和维度表。
   定义状态	定义完库表字段配置状态后，即从未定义变为已定义。

7. 配置完上述所有参数后，请单击下一步保存任务并预检查。

8. 等待预检查通过，单击启动，启动Zero-ETL任务。

   说明

   您可以在数据集成-无感数据集成 (Zero-ETL)页面，查看目标Zero-ETL任务的名称、源/目标、运行状态等信息。