批量上云是帮您提升效率、降低使用成本的一种快捷工具,本文为您介绍如何进行批量上云。

背景信息

批量上云可以快速把MySQL、Oracle、SQL Server数据库内的所有表一并上传至MaxCompute中,为您节省大量初始化数据上云的批量任务创建时间。
说明 批量上云包括数据表中初始化的表结构和全量的数据。

您可以灵活地配置表名转换、字段名转换、字段类型转换、目标表新增字段、目标表字段赋值、数据过滤、目标表名前缀等规则,来满足您的业务需求。

操作步骤

  1. 进入数据集成 > 批量上云页面。
    1. 以开发者身份登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 单击相应工作空间后的进入数据集成
    4. 在左侧导航栏,单击批量上云,查看您配置的批量上云任务。
      说明
      • 批量上云列表中,您只能查看不能修改操作栏下的日志规则
      • 如果您提交规则后,没有提交任务,则没有运行时间,并且此配置规则无效。
  2. 单击右上角的新建批量快速上云
  3. 选择同步的数据源。
    选择添加成功的源端数据源和目标MaxCompute(ODPS)数据源,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server,详情请参见批量新增数据源
  4. 配置同步规则。
    单击添加规则,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击执行规则,并检查DDL和同步脚本确认规则效果。
    说明
    • 如果界面中的规则无法满足您的需求,您可以选择脚本模式
    • 配置完规则后,您必须执行规则提交任务,否则您配置的规则在刷新或关闭浏览器后没有相关的记录。
    • 如果您需要在批量上云时对表前缀进行设置,请参见批量上云时给目标表名加上前缀
    操作 参数 描述
    添加规则 目标表分区字段规则 展现分区的内容,符合调度参数配置,详情请参见调度参数
    表名转换规则 选择您的数据库表名的任何词,转换为您需要的内容。
    字段名转换规则 选择您的表中字段名的任何词,转换为您需要的内容。
    字段类型转换规则 选择您的数据源表中具有的数据类型,转换为您需要的数据类型。
    目标表新增字段规则 可以在MaxCompute表中增加一列,根据您的需求设置名称。
    目标表字段赋值规则 为增加的字段赋值。
    数据过滤规则 针对您选择的数据源,对表中的数据进行过滤。
    目标表名前缀规则 给表名添加一个前缀。
    转为脚本 配置规则时可以转为脚本模式配置,与向导模式相比,单个规则可以指定作用范围。但向导模式转为脚本模式后,无法反向转换回向导模式进行配置。
    重置脚本 转换脚本后才能重置脚本,单击后提供统一的脚本模板。
    执行规则 单击执行规则,可以看到规则对DDL脚本和同步脚本的影响。该按钮不会创建任务,仅提供DDL和同步脚本的预览。

    您可以选择一部分表检查对应的DDL和同步脚本,确认是否符合规则。

  5. 选择要同步的表并提交。
    您可以选择多个表进行批量提交,MaxCompute表会根据上面配置规则生成。如果执行失败,将鼠标放至执行结果上,会提示相关的原因。
    参数 描述
    DDL 单击后可以查看相关建表语句,只能查看不能修改。
    同步配置 单击后可以查看您配置的任务,以脚本模式展现。
    查看表 单击后可以查看MaxCompute建表的具体情况。
    查看任务 提交成功后,您可以进入数据开发 > 业务流程页面,查看您的批量上云任务。