单表实时同步至MaxCompute的任务,支持自定义分区配置,本文为您介绍自定义分区的相关步骤。

步骤一:新建数据表

选中ODPS节点后,单击右侧面板一键建表按钮,可打开建表配置弹窗。分区设置选择自定义分区,可打开配置面板,如下图所示。一键建表

步骤二:编辑自定义变量

  1. 单击编辑自定义变量按钮,在自定义变量弹窗中,单击添加变量按钮,输入变量名value_col21
  2. 单击操作列的编辑按钮,编辑变量value_col21对应的表达式(生成方式)。
  3. 输入字段表达式#{col_21}表示,使用源端字段col_21的值作为变量value_val21的值。单击刷新预览结果,输入测试值test_value,可以正确显示预览结果即可。
    预览结果
  4. 单击确认进行变量配置保存。
说明 使用内置函数和变量对字符串进行处理,有如下规则:
  • 函数和变量直接书写名称即可、支持函数之间嵌套。
  • 常量字符串使用双引号“”括起来、常量字符使用单引号’’括起来、可使用加号’+‘拼接字符串。
  • 可以使用已经生成的自定义变量,加前缀$。
  • 表达式大小写敏感。
  • 来源表的字段可以直接书写其字段名称为变量,如果一个目标表对于多个来源表,则使用“数据库.表.字段”或者“数据库.schema.表.字段”的命名方式。
  • 使用${}代表内置变量,#{}代表表的字段名。

如果表达式有误,包括函数使用错误,变量错误,则预览和实际任务执行时,都会报错。因此建议执行预览来预先发现错误。

步骤三:配置分区

  1. 单击新增字段按钮,添加一级分区pt,取值选择手动赋值,输入${yyyyMMdd},表示使用数据实际时间戳按照yyyyMMdd进行格式化的结果。
  2. 单击新增字段按钮,添加二级分区val,单击选择变量后的按钮按钮,默认为选择变量,选择已配置变量value_col21,表示使用value_col21对应的值。
    配置分区
  3. 单击确定进行建表。
  4. 配置完成。