文档

通过整库迁移配置集成任务

更新时间:

离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务,包括MaxCompute等数据源。本文为您介绍如何新建并配置整库迁移任务。

前提条件

已完成所需迁移的数据源创建。整库迁移支持MySQL、Microsoft SQL Server、Oracle、OceanBase等来源端的数据迁移。具体支持的数据源,请参见整库迁移支持的数据源

功能介绍

离线整库迁移是一个提升用户效率、降低用户使用成本快捷工具。相对于离线单条管道,离线整库迁移可以批量配置离线管道,一次性完成数据库内多张数据表的同步文件的配置。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的研发 > 数据集成

  2. 选择项目与环境,单击左侧导航栏的离线整库迁移

  3. 新建整库迁移页面,配置参数。

    1. 配置基本信息。

      整库迁移文件夹名称:允许最长字符256个,不支持特殊字符|\/:?<>*"

    2. 配置数据源信息。

      • 同步来源

        参数

        说明

        数据源类型

        选择同步来源的数据源类型。支持的数据源与数据源创建说明,请参见整库迁移支持的数据源

        Oracle数据源

        • 文件编码:若选择Oracle数据源,需选择Oracle的编码方式。支持UTF-8、GBK、ISO-8859-1。

        时区

        请根据数据库配置的时区选择相应的时区。数据集成在中国地区默认时区为GMT+8,该时区不支持夏令时,如果数据库配置时区支持夏令时,如Asia/Shanghai时区,则当同步的时间数据处于夏令时的时间段,则建议选择Asia/Shanghai等时区,否则同步的数据与数据库中的数据相差1小时。

        支持的时区包括:GMT+1、GMT+2、GMT+3、GMT+5:30、GMT+8、GMT+9、GMT+10、GMT-5、GMT-6、GMT-8、Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New York、America/Sao Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。

        数据源

        选择来源数据源。若无所需数据源,您也可以单击新建数据源进行创建。

        批量读取条数

        来源数据源为Oracle、Microsoft SQL Server、OceanBase、IBM DB2、PostgreSQL时,支持配置批量读取条件,即一次性读取数据的条数,默认为1024条。

      • 同步目标

        参数

        说明

        数据源类型

        选择目标数据源类型。支持的数据源与数据源创建说明,请参见整库迁移支持的数据源

        说明
        • 同步至AnalyticDB for PostgreSQL数据源,系统每日会为目标表创建一个日期分区。

        • 若有其他分区需要,可以在生成管道后,单击单条管道修改分区相关的准备语句

        数据源

        选择目标数据源。若无所需数据源,您也可以单击新建数据源进行创建。支持的数据源与数据源创建说明,请参见整库迁移支持的数据源

        • AnalyticDB for PostgreSQL目标数据源类型。

          需要配置以下配置项。

          重要

          冲突解决策略仅在AnalyticDB for PostgreSQL内核版本高于4.3时的Copy模式下有效,内核低于4.3或不明版本时请谨慎选择,避免造成任务失败。

          • 冲突解决策略:copy加载策略支持设置冲突解决策略,包括冲突时报错冲突时覆盖

          • Schema:支持跨Schema选表,请选择表所在的Schema,如不指定则默认为数据源中配置的schema。

        加载策略

        • Oracle、MaxCompute目标数据源支持覆盖数据追加数据

          • 覆盖数据:如果同步的数据存在,已存在数据将进行覆盖同步。

          • 追加数据:如果同步的数据存在,不进行覆盖,新增数据进行追加同步。

        • AnalyticDB for PostgreSQL支持insertcopy。

          • insert:数据逐条同步。适用于数据量较小的情况,可以提高同步数据的准确性和完整性。

          • copy:数据通过文件形式同步。适用于数据量较大的情况,可以提高同步速度。

        批量写入数据量

        AnalyticDB for PostgreSQL和StarRocks目标数据源支持配置批量写入数据量,即一次性写入的数据量大小,可同时设置批量写入条数,写入时按两个配置中先达到上限的量写入。

        批量写入条数

        AnalyticDB for PostgreSQL和StarRocks目标数据源支持配置批量写入条数,一次性写入数据的条数,默认1024条。

    3. 配置数据同步。

      • 同步来源为MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、MaxCompute、AnalyticDB for PostgreSQL。

        勾选来源表后,将生成对应的目标表,名称默认与来源表名一致。若有名称转换配置,则为转换后的名称。

        image

        参数

        说明

        操作区

        • 已勾选、未勾选:可以根据已勾选未勾选筛选来源表

        • 搜索来源表:支持通过表名称搜索当前来源表,大小写敏感。

        • 高级搜索:页面最多展示10000张表,高级搜索功能支持在数据库所有表中批量查找与搜索表名。单击高级搜索,在高级搜索对话框中,配置高级搜索参数。

          1. 配置搜索方式

            支持精确输入表名模糊搜索方式搜索来源。

            • 精确输入表名:需要在搜索内容中批量输入表名。表名分隔符为配置的分隔符,默认为\n,可以自行定义。

            • 模糊搜索:需要在搜索内容中填写表名关键字。系统将根据表名关键字进行模糊搜索。

          2. 输入搜索内容

            • 搜索方式不同,输入的搜索内容不同。

              • 精确输入表名:可以批量输入表名查找表,输入内容请使用配置的分隔符分隔表名。

              • 模糊搜索:可以输入表名称的关键字进行搜索。

          3. 搜索结果。

            配置搜索方式搜索内容后单击搜索将为您展示搜索结果。在搜索结果表内选择需要操作的表,并选择操作类型,包括批量选中批量取消选中。单击确定,来源表将根据操作类型选中取消选中。

        • 自动删除数据源中同名表:选中后Dataphin会先自动删除数据源中已经存在的,且与整库生成同名的表,再重新自动创建表。

          重要

          如为项目数据源,则会同时删除生产与开发环境中的同名表,请谨慎操作。

        • 名称转化配置:非必选,名称转换配置可将您来源表的表名、字段名进行替换或过滤数据后进行同步。

          1. 单击名称转换配置

          2. 名称转换配置页面,配置转换规则。

            image..png

            • 表名转换规则:单击新建规则,在规则项中填写来源表待替换字符串目标表替换字符串。如:需将表名datawork替换为dataphin,则待替换字符串为work,替换字符串为phin

            • 表名前缀表名前缀输入框中填写目标库表的表名前缀。同步时将自动生成目标库表的前缀,如:表名前缀填写pre_,表名为dataphin,则生成的目标库表名为pre_dataphin

            • 表名后缀表后前缀输入框中填写目标库表的表名后缀。同步时将自动生成目标库表的后缀,如:表名后缀填写_prod,表名为dataphin,则生成的目标库表名为pre_dataphin_prod

            • 字段名称规则:单击新增规则,在规则项中填写来源字段替换字符串目标字段替换字符串。如:需要将字段名datawork替换为dataphin,则待替换字符为work,替换的字符为phin

          3. 配置完成后单击确定对应目标库表将展示转换后的目标库表名。

            说明

            替换字符及表名前后缀中的英文字符将自动转换为小写。

        • 校验表名:校验目标数据库中是否存在当前的目标表名。

        来源表

        勾选所需同步的来源表。

        对应目标库表

        选择来源表后,生成对应目标库表,名称默认与源表名一致。若有名称转换配置,则为转换后的名称。

        说明

        目标表名仅支持英文字母、数字及下划线。如来源表名含有其他字符,请配置表名转换规则。

        管道统计

        当前已选择的管道数。

      • 同步来源为FTP。

        1. 请先单击下载Excel模板并按照模板指引填写模板后上传模板文件。请严格按照模板文件的格式填写,否则会导致文件解析失败。

          说明

          可上传单个.xlsx文件或单个压缩包(可以包含一个或多个.xlsx文件),压缩格式仅支持zip类型。文件需小于50M。

        2. 单击解析文件

          image.png

          参数

          说明

          操作区

          • 搜索来源文件:支持通过文件名称搜索当前来源文件。

          • 仅查看解析失败任务:列表将仅展示解析失败的任务。

          • 自动删除数据源中同名表:选中后会先自动删除数据源中已存在的与整库生成的目标表同名的表,再重新自动创建。

            重要

            如为项目数据源,则会同时删除生产与开发环境中的同名表,请谨慎操作。

          • 校验表名:校验目标数据库中是否存在当前的目标表名。

          来源文件对应目标表

          • 来源文件:勾选所需同步的来源文件。

          • 对应目标表:解析文件后,将根据模板文件生成对应目标库表。

          管道统计

          当前已选择的管道数。

    4. 设置同步方式和数据过滤。

      参数

      说明

      同步方式

      选择同步方式。同步方式设置包括每日同步单次同步每日同步+单次同步

      • 每日同步系统将生成每日调度的集成管道周期任务,通常用于同步每日的增量或全量数据。

      • 单次同步系统将生成集成管道手动任务,通常用于同步历史全量数据。

      • 每日同步+单次同步:系统将同时生成每日调度的周期任务和手动任务,通常用于单次全量后每日增量或全量的数据同步场景。

        说明

        来源库为FTP时,不支持每日同步+单次同步

      目标表创建为

      选择创建的目标表类型。包括分区表和非分区表。不同的同步方式目标表创建规则如下:

      • 每日同步:选择分区表,目标表将创建为分区表,默认写入ds=${bizdate}的分区;选择非分区表,目标表将创建为非分区表。

      • 单次同步:选择分区表,目标表将创建为分区表,需要配置单次同步写入分区参数,支持常量或分区参数。例如,常量20230330、分区参数ds=${bizdate};选择非分区表,目标表将创建为非分区表。

      • 每日同步+单次同步:默认为分区表,不支持选择。需要配置单次同步写入分区参数,支持常量或分区参数。例如,常量20230330、分区参数ds=${bizdate}

        说明

        目前仅支持将单次同步的数据写入对应目标表的一个指定分区内。如需将全量历史数据写入对应的不同分区,可在单次同步后使用SQL任务处理写入目标表相应分区,或者选择每日同步增量数据,然后进行补数据操作补全历史分区。

      数据过滤

      • 来源库非MaxCompute

        image..png

        • 每日同步过滤条件:同步方式包含每日同步时,可以配置每日同步时的过滤条件。如配置了ds=${bizdate},任务运行时会抽取来源库中 ds=${bizdate}的所有数据写入指定的目标表分区。

        • 单次同步过滤条件:同步方式包含单次同步时,可以配置单次同步过滤条件。如配置了ds=<${bizdate},任务运行时会抽取来源库中ds=<${bizdate}的所有数据写入指定的目标表(分区)。

      • 来源库为MaxCompute

        image.png

        • 每日同步分区:来源库为MaxCompute时,必须在此指定分区表每日读取的分区。支持读取单分区,可填写ds=${bizdate};或多分区,如填写/*query*/ds>=20230101 and ds<=20230107

        • 单次同步分区:来源库为MaxCompute且同步方式包含单次同步时,必须在此指定分区表单次读取的分区。支持读取单分区,可填写ds=${bizdate};或多分区,可填写/*query*/ds>=20230101 and ds<=20230107

        • 分区不存在时:可选择以下策略处理当指定分区不存在时的场景:

          • 置任务失败:终止该任务并置失败。

          • 置任务成功:任务正常运行成功,无写入的数据。

          • 使用最新非空分区:来源库为MaxCompute时,支持使用该表当前的最新非空分区(max_pt)作为需同步的分区,如该表不存在任何有数据的分区,则任务报错并置失败。

      说明

      来源库为FTP时,不支持数据过滤配置。

      参数配置

      来源库为FTP时,支持在来源文件路径中使用参数。

    5. 调度运行配置

      参数

      说明

      调度配置

      选择调度配置。调度配置包括同时调度分批调度

      • 同时调度:指每日零点同时执行源库所选择表的同步任务。

      • 分批调度:指将源库所选择的表按批次的方式逐批执行同步任务。支持0~23小时周期和最大142条同步数量。例如,如需同步100张表,设置了每隔2小时同步10张表则需要20个小时才能完成一个同步周期任务的启动。一个同步间隔周期不能超过24小时。

      运行超时

      同步任务运行时,若单次运行总时长超过设置阈值仍未完成,会自动终止并置为失败。支持选择系统配置自定义

      • 系统配置:使用系统默认配置的超时时间。更多信息,请参见运行配置

      • 自定义:自定义超时时间。支持输入0-168之间的数字(不包括0),保留2位小数。

      失败自动重跑

      该任务实例、补数据实例运行失败,会按照配置决定是否自动重跑。重跑次数支持输入[0,10]之间的整数,重跑间隔支持输入[1,60]之间的整数。

      上游依赖

      单击添加依赖,可添加物理节点逻辑表节点作为该节点的上游依赖。如不配置,则默认配置租户的虚拟根节点作为上游依赖,您也可手动添加一个虚拟节点作为该节点的依赖对象。适用于需统一补数据等场景。

    6. 资源配置

      参数

      说明

      生产任务调度资源组

      • 整库迁移集成任务调度运行时需要消耗调度资源。整库迁移集成任务为独享资源任务,您可指定每个整库迁移集成任务生成的实例可使用的调度资源组,实例调度时会从占用指定资源组的资源配额,如果指定的资源组可用资源不足,则会进入等待调度资源状态。不同资源组之间的资源相互隔离互不影响,以保证调度稳定性。

      • 设置调度资源组仅支持选择应用场景为任务日常调度且与当前任务所属项目有关联关系的资源组。具体操作,请参见新建自定义资源组

        说明
        • 如果选择了项目默认资源组,将根据项目默认资源组的配置修改自动更新。

        • 生产环境任务资源组支持单独指定资源组;开发环境任务资源组只支持使用开发项目默认资源组。更多信息,请参见创建通用项目

  4. 完成参数的配置后,单击生成管道,完成离线整库迁移管道的创建。

    运行结果区域,可查看管道任务的运行结果,包括来源表、目标表、同步方式、任务状态及备注信息。image.png

  5. 管道生成后,在离线管道任务目录列表整库迁移任务下将生成对应的离线管道。您可以对生成的离线管道任务进行配置并发布。详情请参见离线集成任务属性配置概述

后续步骤

完成离线管道任务的创建和发布后,您可以在运维中心查看并运维集成任务,保证任务的正常运行。更多信息,请参见运维中心概述