备案控制台
文档
产品文档
输入文档关键字查找
首页 大数据开发治理平台 DataWorks 操作指南 数据集成 常见业务场景与最佳实践 数据库整库离线同步至OSS MySQL整库离线同步到OSS

MySQL整库离线同步到OSS

更新时间：
一键部署
产品详情
相关技术圈
我的收藏

本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。

使用限制

仅支持使用独享数据集成资源组。

操作步骤

  1. 步骤一：创建同步任务。

  2. 步骤二：配置同步任务。

  3. 步骤三：运行并查看任务状态。

前提条件

  • 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。

  • 已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见配置MySQL数据源、配置OSS数据源。

    重要

    • 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。

    • 数据源相关能力介绍详情请参见：数据源概述。

  • 已完成数据源环境准备。来源数据源为MySQL时，您需要开启Binlog相关功能，详情请参见MySQL环境准备。

步骤一：创建同步任务

  1. 进入数据集成页面。

    登录DataWorks控制台，单击左侧导航栏的数据集成，在下拉框中选择对应工作空间后单击进入数据集成。

  2. 单击左侧导航栏的同步任务，来源选择MySQL，去向选择OSS，单击开始创建按钮。

    image.png

  3. 在新建同步任务页面，编辑任务的基本信息。

    1. 新任务名称：自定义。

    2. 同步类型：整库离线。

    3. 同步步骤：根据您的业务需求选择全量同步、全量同步和增量同步。详情请参见：步骤二：配置同步任务。

      • 若您需要进行一次性全量或周期性全量同步，请勾选全量同步。

      • 若您需要进行一次性全量周期性增量同步，请勾选全量同步和增量同步。

    4. 网络与资源配置：点击下拉框分别选择已经创建的MySQL数据源、独享数据集成资源组、OSS数据源，单击测试所有连通性，保障资源组与数据源之间的网络连通性。

      image.png

步骤二：配置同步任务

周期全量配置方式

  1. 在新建同步任务页面，选择同步步骤为全量同步。

    image.png

  2. 单击下一步按钮，选择MySQL中需要同步的表。

    您可根据在左侧源端库表区域，选中需要同步的源表，将其添加至右侧已选库表区域。

    image.png

  3. 配置目标OSS文件属性。

    image.png

    1. 目标根路径，书写格式：di_to_oss_path/${bizdate}/，其中调度参数${bizdate}表示业务日期，调度值填写$bizdate。等于调度日期的前一天，更多调度参数详情请参见：调度参数支持的格式。

      说明

      在使用调度参数$bizdate时，需要包含在全增量控制的周期调度参数配置中。

    2. 文件类型：parquet，text，csv，orc。

    3. 列分隔符：数据的字段分割符号，例如逗号（,）。

    4. 前缀冲突：在进行数据写入时，若目标对象与待写入对象名称具有相同前缀，可以进行以下操作：

      • 替换原有文件：删除前缀相同的文件，重建新的文件替换原有文件。

      • 退出报错：同步任务停止执行。

    5. 更多参数：若文件类型是text和csv格式，支持配置更多参数来完成定制化行为。

      image.png

  4. 配置全增量控制。

    1. 在全量同步中选择周期性。

    2. 单击周期调度参数配置设置对应的调度参数。调度参数详情请参见调度参数支持的格式。

    image.png

    image.png

  5. 刷新目标表映射。

    • 单个目标表映射刷新：勾选需要刷新的单表，在操作列单击刷新。

      image.png

    • 批量目标表映射刷新：勾选多个需要刷新的表，单击按钮批量刷新映射。

      image.png

    说明

    DataWorks数据集成提供了自定义规则，用于映射目标OSS路径及目标OSS文件名。

    • 内置目标OSS路径映射自定义规则default_path_convert_rule。

      • 将来源库名称作为目标OSS路径。例如，源数据库名称为di_ide_yufa时，使用上述规则，该名称会直接被用作OSS的目标路径，即在OSS中的存储路径将是di_ide_yufa。

    • 内置的目标OSS文件名映射自定义规则有以下两个规则：

      • 使用default_file_convert_rule_with_schedule_params自定义规则。该规则定义${srcTableName}/data_${bizdate}，源表名${srcTableName}会作为OSS路径的一部分，而目标文件为data_后面跟上调度参数${bizdate}的值。

        • 例如，源表名为base_c_app_config，调度日期的值是20230101，那么在OSS中生成的目标表名为：base_c_app_config/data_20230101。

      • 使用default_file_convert_rule自定义规则。该规则定义${srcTableName}/data，源表名${srcTableName}作为OSS路径的一部分，并且默认的目标文件名为data。

        • 例如，源表名为base_c_app_config，转换后的目标表名为base_c_app_config/data。

    • 最终的OSS文件写入路径以及文件，由如下三者拼接而成。

      • 目标根路径。

      • 目标OSS路径映射自定义转换得到的目标文件路径。

      • 目标OSS文件名映射自定义规则转换得到的目标文件名。

      image.png

  6. 周期配置。

    1. 刷新表映射后，表粒度周期性调度参数配置，支持批量修改或单表定制化修改。您可单击批量修改按钮，在下拉列表中找到周期配置，可以对单表粒度进行配置。更多调度参数配置详情请参见任务调度属性配置概述。

      image.png

    2. 在周期配置中，可以设置预期的周期调度时间。本示例中设置周期调度时间为每天0点10分。

      image.png

  7. 完成配置。

    单击完成配置，完成同步任务的配置。

    image.png

一次性全量周期性增量配置方式

  1. 在新建同步任务页面，选择同步步骤为全量同步和增量同步。

    image.png

  2. 单击下一步按钮，选择MySQL中需要同步的表。

    您可根据在左侧源端库表区域，选中需要同步的源表，将其添加至右侧已选库表区域。

    image.png

  3. 配置目标OSS文件属性。

    image.png

    1. 目标根路径，书写格式：di_to_oss_path/${bizdate}/，其中调度参数${bizdate}表示业务日期，调度值填写$bizdate。等于调度日期的前一天，更多调度参数详情请参见：调度参数支持的格式。

      说明

      在使用调度参数$bizdate时，需要包含在全增量控制的周期调度参数配置中。

    2. 文件类型：parquet，text，csv，orc。

    3. 列分隔符：数据的字段分割符号，例如逗号（,）。

    4. 前缀冲突：在进行数据写入时，若目标对象与待写入对象名称具有相同前缀，可以进行以下操作：

      • 替换原有文件：删除前缀相同的文件，重建新的文件替换原有文件。

      • 退出报错：同步任务停止执行。

    5. 更多参数：若文件类型是text和csv格式，支持配置更多参数来完成定制化行为。

      image.png

  4. 配置全增量控制。

    1. 此处默认展示一次性全量和周期性增量，不可更改。

    2. 单击周期调度参数配置设置对应的调度参数。调度参数详情请参见：调度参数支持的格式。

    image.png

    image.png

  5. 刷新目标表映射。

    • 单个目标表映射刷新：勾选需要刷新的单表，在操作列单击刷新。

      image.png

    • 批量目标表映射刷新：勾选多个需要刷新的表，单击按钮批量刷新映射。

      image.png

      说明

      DataWorks数据集成提供了自定义规则，用于映射目标OSS路径及目标OSS文件名。

      • 内置目标OSS路径映射自定义规则default_path_convert_rule。

        • 将来源库名称作为目标OSS路径。例如，源数据库名称为di_ide_yufa时，使用上述规则，该名称会直接被用作OSS的目标路径，即在OSS中的存储路径将是di_ide_yufa。

      • 内置的目标OSS文件名映射自定义规则有以下两个规则：

        • 使用default_file_convert_rule_with_schedule_params自定义规则。该规则定义${srcTableName}/data_${bizdate}，源表名${srcTableName}会作为OSS路径的一部分，而目标文件为data_后面跟上调度参数${bizdate}的值。

          • 例如，源表名为base_c_app_config，调度日期的值是20230101，那么在OSS中生成的目标表名为：base_c_app_config/data_20230101。

        • 使用default_file_convert_rule自定义规则。该规则定义${srcTableName}/data，源表名${srcTableName}作为OSS路径的一部分，并且默认的目标文件名为data。

          • 例如，源表名为base_c_app_config，转换后的目标表名为base_c_app_config/data。

      • 最终的OSS文件写入路径以及文件，由如下三者拼接而成。

        • 目标根路径。

        • 目标OSS路径映射自定义转换得到的目标文件路径。

        • 目标OSS文件名映射自定义规则转换得到的目标文件名。

        image.png

  6. 周期配置。

    1. 刷新表映射后，表粒度周期性调度参数配置，支持批量修改或单表定制化修改。您可单击批量修改按钮，在下拉列表中找到周期配置，可以对单表粒度进行配置。更多调度参数配置详情请参见任务调度属性配置概述。

      image.png

    2. 在周期配置中，可以设置预期的周期调度时间。本示例中设置周期调度时间为每天0点10分。

      image.png

  7. 增量条件配置。

    1. 表粒度增量条件参数，支持批量修改/单表定制化修改。单击批量修改按钮，在下拉列表中选择增量条件。

      image.png

    2. 本文以天为增量举例，假设业务时间字段为gmt_modified，每天增量抽取前一天0点到今天0点的数据（左闭右开），单击增量条件输入如下代码：

      to_timestamp('${bizdate}','yyyyMMdd') <= gmt_modified AND gmt_modified < (to_timestamp('${bizdate}','yyyyMMdd') + interval '1 day')

      image.png

  8. 完成配置。

    单击完成配置，完成同步任务的配置。

    image.png

其他高级配置（可选）

目标OSS文件名映射自定义

您可以使用内置变量和手动输入的字符串拼接成为最终目标路径。其中，支持您编辑内置变量，例如，做字符串替换。

image.png

全增量控制与周期控制

  • 如果您的同步步骤勾选了全量同步和增量同步，在全增量控制面板页面，默认展示一次性全量，周期性增量，不可更改。

    image.png

  • 如果您的同步步骤选择了全量同步，在全增量控制面板页面，可以选择任务的类型是一次性全量还是周期性全量。

    image.png

  • 如果您的同步步骤选择了增量同步，在全增量控制面板页面，可以选择任务的类型为一次性增量还是周期性增量。

    image.png

附加字段使用调度参数

支持您在附加字段中使用调度参数。

  1. 单击周期调度参数配置，新增调度参数，以添加一个cyc_time参数为例：

    image.png

  2. 单击批量修改中的目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。

    image.png

  1. 在目标文件附加字段中，新增附加字段。

    image.png

高级参数配置

您可以通过以下两种方式定义高级参数：

  • 单击页面右上角的高级参数配置，对同步任务读端与写端进行精细化配置，例如最大连接数、离线任务限流相关参数。

    配置高级参数可以控制任务的行为。高级参数功能是整个任务全局的高级参数配置，会应用到本任务的每一个表上。

  • 在刷新表映射表格上，您还可以单独配置每个表的自定义高级参数，单表的高级参数优先级更高。

    • 单击选择image.png自定义列按钮，在下拉列表中勾选自定义高级参数，单击确认。

      image.png

    • 配置自定义高级参数。

      image.png

  • 以下表格列举了本同步解决方案所支持的高级参数。

高级参数名称

说明

离线任务源端最大连接数

离线任务源端最大连接数。数据源维度，同一数据源，同时运行的离线任务并发度不允许超过此值

离线同步任务并发度

并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。并发数大，同步任务速率高，但相对也会消耗更多的资源组槽位，并发数小，同步速率相对较低，相对消耗的资源组槽位也较少

离线任务是否开启限流

您可以通过限流控制同步速率，以保护读取端数据库，避免抽取速度过大，给源库造成太大的压力，在不限流的情况下，任务将在所配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能

离线是否允许脏数据

离线是否允许脏数据，配置成false时，如果数据写入目标表失败，任务会失败。

离线任务限流大小

线任务限流大小，单位MB，在开启限流时生效。如未开启限流，则此参数不生效。

步骤三：运行并查看任务状态

启动同步任务

  1. 单击完成配置之后，界面会自动跳转到任务列表，找到需要启动的任务，单击操作 > 启动。

    image.png

  2. 任务启动后，任务状态会从未提交转变为运行中，操作从启动转变为停止。

    image.png

查看任务运行状态

单击名称/ID或者执行概况空白处，可以跳转到任务的运行详情页面。页面分为三个部分：基本信息、执行状态以及详情信息。

  • 基本信息：包括任务的数据源信息，绑定的资源组以及同步方案。

  • 执行状态：MYSQL到OSS的离线整库同步任务细分后的同步步骤详情。

    • 任务同步类型为全量同步，此处展示全量同步。

    • 任务同步类型为增量同步，此处展示增量同步。

    • 任务同步类型为全量同步、增量同步，此处展示全量同步以及增量同步。

  • 详情信息：针对”全量同步“和”增量同步“的信息显示执行步骤。

    • 全量同步中包含离线同步的表信息、同步的进度、以及写入的条数。单击进度列，可以查看单表的进度

      image.png

      image.png

      image.png

    • 增量同步中包含离线周期任务对应的最新周期实例的相关指标信息。

      • 点击image.png自定义列按钮，勾选增量条件、周期实例和周期配置，点击确认。

        image.png

      • 单击增量条件 > 查看，展示本次周期实例的实例化增量条件。

        image.png

        image.png

      • 单击周期实例 > 查看，跳转数据集成logview页面，显示历史运行过的周期实例相关指标信息。

        image.png

      • 点击周期配置 > 查看，显示本周期任务的周期调度相关信息。

        image.png

        image.png

任务重跑

  • 直接重跑：不修改任务配置，直接点击重跑操作。

    效果：重跑一次性任务、周期性任务属性做更新。

    image.png

  • 修改后重跑（增减表场景）：编辑任务，进行增减表的操作, 单击完成。这个时候任务的操作会变成"应用更新"，单击应用更新会直接触发修改后的任务重跑。

    效果：新增的表才会进行同步，之前同步过的表不会再同步。

  • 修改后重跑（修改表名信息）：编辑任务，进行目标表的名称修改或者切换同步的目标表，点击完成。这个时候任务的操作会变成"应用更新"，单击应用更新会直接触发修改后的任务重跑。

    效果：同步修改过的表，没有修改的表不会再进行同步

数据开发相关场景

如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。

image.png

image.png

文档推荐
  • 本页导读 （1）
文档反馈