本章节介绍如何创建、管理离线数据同步任务,下述以MySQL to MaxCompute为例。

前提条件

新建完成相应的源端与目标端。

操作步骤

  1. 登录数据资源平台控制台
  2. 在左侧选择研发工作台,在顶部菜单栏单击资产加工,左侧导航栏选择数据同步.png图标(数据同步) > 离线数据同步离线数据同步任务管理.png
  3. 在周期任务管理页面的目录区域:
    1. 单击目录新建图标(添加子集目录)
    2. 在目录新建页面,输入目录名称、目录描述等信息,操作完成后单击确认
  4. 在周期任务管理页面,单击新增任务
    1. 在填写基本信息区域,填写基本信息,操作完成后,单击选择数据源离线上云任务1-填写基本信息.png
    2. 在选择数据源区域,选择数据源 > 数据对象,操作完成后,单击选择目标端选择数据源.png
      说明
      如果选择增量,可选择:
      • 增量字段keyvalue
      • 字段数据类型时间字符串整体字符串浮点字符串字符串
        • 数据字段选项仅适用于关系型数据库例如:MySQL、Oracle、SQL Server、PostgreSQL等类型的数据源。
        • 适用的字段类型包括字符串类型字段,类如:
          • Oracle字符串类型varchar,varchar2,char。
          • MySQL字符串类型varchar,char。
      • 取数规则:只针对日期数据做取数规则,其中yyyy表示4位的年份、yy表示2位的年份、mm(MM)表示月、dd表示天、hh24表示小时(12进制使用hh)、mi表示分钟、ss表示秒。您可以任意组合参数,例如$[yyyymmdd]、$[yyyy-mm-dd]、$[hh24miss]、$[hh24:mi:ss]和$[yyyymmddhh24miss]等
        • 1.${}表达式可取业务日期数据,最小单位为天,例:${yyyyMMdd},表示取前一天数据,${yyyyMM-1}表示取前前一个月数据
        • 2.$[]表达式取调度时间,最小单位为天,例:$[yyyyMMdd-1/24],表示取当前时间前一小时数据
        • 3.支持时间戳取数函数sysMillis(毫秒)、sysSeconds(秒),单位为天,例:${sysMillis},表示取前一天数据
    3. 在选择目标端区域,选择目标端 > 数据对象,操作完成后,单击字典映射离线上云任务3-选择目标端.png
    4. 在字段映射区域,单击同名映射自动链接同名字段;如果字段不同名也可手工链接,操作完成后,单击配置任务调度字段映射
    5. 在配置任务调度区域,按提示输入配置信息,操作完成后单击提交,周期任务完成创建。配置任务调度
      表 1. 周期调度任务输入项
      输入项 说明
      任务调度类型 周期调度与一次性调度。
      生效日期(周期调度) 调度将在有效日期内生效并自动调度,反之,在有效期外的任务将不会自动调度,也不能手动调度。
      调度周期(周期调度) 全量和增量的调度周期均分为分钟,小时,日,星期,月。
      时间间隔(周期调度) 指的是每个多少分钟、小时任务运行一次。
      指定时间(周期调度) 任务在在指定的时间点运行。
      调度类型(周期调度) 依赖上一周期:指定任务的上一个周期实例运行完成(包括正常完成和异常完成),才能运行下一个周期实例。运行异常,下线任务:当任务的实例运行异常时,自动将任务下线。任务上线立即运行:即任务上线启动后立即运行。
      说明

      支持多选。

      运行时间(一次性调度) 任务上线立即运行:即单击上线按钮立即运行。指定时间:在指定时间运行,支持力度到秒。
      资源规格(高级配置) 该任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024M)。超时(分钟):周期为时间间隔类型,默认值为3倍间隔时间;周期为定时类型,默认值为24小时。
  5. 在周期任务管理页面:
    • 单击批量新增任务,按流程新建批量数据同步任务,对离线数据进行批量上云,操作完成后单击提交批量新增周期任务.png
    • 选择新建的离线数据同步任务,单击上线,对已新建的离线数据同步任务进行上线运行。
    • 选择新建的离线数据同步任务,单击下线,对已上线的离线数据同步进行下线。
    • 选择新建的离线数据同步任务,单击监控,对周期任务的运行情况进行查看。
    • 选择新建的离线数据同步任务,单击查看,对周期任务的基本信息、选择的数据源及目标端、配置的任务调度等详细配置信息进行查看。
    • 选择新建的离线数据同步任务,单击修改,对周期任务的基本信息、选择的数据源及目标端、配置的任务调度等详细配置信息进行修改。
    • 选择新建的离线数据同步任务,单击删除,出现删除提醒,单击确认
    • 选择多个新建的离线数据同步任务,单击批量上线,对多个已新建的离线数据同步任务进行上线运行。
    • 选择多个新建的离线数据同步任务,单击批量下线,对多个已上线的离线数据同步进行下线。
    • 选择多个新建的离线数据同步任务,单击批量删除,出现删除提醒,单击确认