单表实时同步至MaxCompute的任务,支持自定义分区配置,本文为您介绍自定义分区的相关步骤。
步骤一:新建数据表
选中ODPS节点后,单击右侧面板一键建表按钮,可打开建表配置弹窗。分区设置选择自定义分区,可打开配置面板,如下图所示。
步骤二:编辑自定义变量
- 单击编辑自定义变量按钮,在自定义变量弹窗中,单击添加变量按钮,输入变量名
value_col21
。 - 单击操作列的编辑按钮,编辑变量
value_col21
对应的表达式(生成方式)。 - 输入字段表达式
#{col_21}
表示,使用源端字段col_21
的值作为变量value_val21
的值。单击刷新预览结果,输入测试值test_value,可以正确显示预览结果即可。 - 单击确认进行变量配置保存。
说明 使用内置函数和变量对字符串进行处理,有如下规则:
- 函数和变量直接书写名称即可、支持函数之间嵌套。
- 常量字符串使用双引号“”括起来、常量字符使用单引号’’括起来、可使用加号’+‘拼接字符串。
- 可以使用已经生成的自定义变量,加前缀$。
- 表达式大小写敏感。
- 来源表的字段可以直接书写其字段名称为变量,如果一个目标表对于多个来源表,则使用“数据库.表.字段”或者“数据库.schema.表.字段”的命名方式。
- 使用${}代表内置变量,#{}代表表的字段名。
如果表达式有误,包括函数使用错误,变量错误,则预览和实际任务执行时,都会报错。因此建议执行预览来预先发现错误。
步骤三:配置分区
- 单击新增字段按钮,添加一级分区pt,取值选择手动赋值,输入${yyyyMMdd},表示使用数据实际时间戳按照yyyyMMdd进行格式化的结果。
- 单击新增字段按钮,添加二级分区val,单击选择变量后的按钮,默认为选择变量,选择已配置变量
value_col21
,表示使用value_col21
对应的值。 - 单击确定进行建表。
- 配置完成。