创建同步MaxCompute

准备工作

同步模式

应用场景

• 数据需要根据主键进行更新：数据可能随时间变化，需要根据主键更新已有记录；

• 保持目标表中数据的唯一性：需要确保目标表中每条记录的唯一性，避免重复数据；

• 处理重复数据：需要对海量数据根据某个主键进行去重。

配置说明

1. Datahub Topic 类型：必须是TUPLE类型的Topic；

2. Datahub Topic Schema：目前支持以下两种类型

   1. dts同步到datahub的schema类型（以下统称为Dts格式）；

   2. 用户自主创建的schema，需要选择一列作为操作列，且必须是String类型（以下统称为自定义格式）；

3. Odps 目标表：必须是 Transaction2.0表。

同步规则

创建同步任务

1. 单击DataHub中已创建的Topic，进入Topic详情页。

2. 单击Topic详情页右上角的同步按钮，创建同步任务。

3. 选择MaxCompute类型作业，进入新建Connector页面。

   配置项说明：

   参数	选项	是否必填	说明
   Project名称	/	是	MaxCompute project名称，支持下拉框获取，如无权限获取Project列表请手动输入
   Schema	/	否	MaxCompute schema名称 说明 使用Schema功能需打开Schema语法开发 ，关于打开方式和更多Schema说明信息请参考Schema操作
   Table	/	是	MaxCompute Table名称，支持下拉框选择，如无权限获取Table列表请手动输入 说明 使用Upsert模式同步目标表必须是 Transaction2.0表
   同步模式	Append	是	采用追加方式同步到MaxCompute 目标表中
   	Upsert		主键更新或删除方式同步到MaxCompute DeltaTable Upsert模式详情参考上文同步模式章节
   认证方式	AK		通过AK进行认证
   	DataHub默认角色		选择该项后会在该project角色授权自动新增datahub__access__role 角色，具体权限策略为： { "Statement": [ { "Action": [ "odps:CreateInstance", "odps:CreateTable", "odps:Describe", "odps:Alter", "odps:Update" ], "Effect": "Allow", "Resource": [ "*" ] } ], "Version": "1" }
   	自定义角色		用户自定义角色，可通过ram控制台进行查看或者创建
   Upsert方式	SYNC_CUSTOM	选择同步模式为Upsert 该配置项为必填，同步方式为Append则不涉及该配置项	自定义Upsert操作字段
   	SYNC_NONE		全部以Upsert形式写入目标表
   	SYNC_DTS		适用于由dts写入DataHub ，启用dts新的附件列规则场景
   	SYNC_DTS_OLD		适用于由dts写入DataHub，启用dts新的附件列规则场景
   主键字段	/		Upsert同步方式下创建下游表时指定的主键列
   Upsert操作字段	/	选择SYNC_CUSTOM 方式同步该配置为必选项	选择任意一个String类型的列作为Operation，用于表示当前数据是以Upsert或Delete的形式同步到下游表中

4. 关于Upsert 模式介绍请查看本文Upsert模式介绍章节。

   • 导入字段：DataHub可以根据用户设置将部分column内容同步到MaxCompute表中。

   • 分区模式：分区模式决定了将数据写入到MaxCompute哪个分区中，目前DataHub支持以下分区方式：

     分区模式	分区依据	支持Topic类型	说明
     USER_DEFINE	Record中的分区列（和MaxCompute的分区字段同名）的value值	TUPLE	DataHub schema中必须包含MaxCompute分区字段 该列值必须为UTF8字符串 字段值可以为空，表示不分区
     SYSTEM_TIME	Record写入DataHub的时间	TUPLE / BLOB	分区配置中设置MaxCompute分区的时间转换Format格式 设置时区信息
     EVENT_TIME	Record中的event_time(TIMESTAMP)列的value值	TUPLE	分区配置中设置MaxCompute分区的时间转换Format格式 设置时区信息
     META_TIME	Record的属性字段__dh_meta_time__的value值	TUPLE / BLOB	分区配置中设置MaxCompute分区的时间转换Format格式 设置时区信息

     其中SYSTEM_TIME、EVENT_TIME和META_TIME均是根据时间Timestamp和时区配置来进行MaxCompute分区的转换过程，单位默认为微秒。

   • 分区配置决定了根据时间戳转换MaxCompute分区时的相关配置。目前管控台默认固定的MaxCompute分区格式，分区配置对应为：

     分区	时间Format	说明
     ds	%Y%m%d	day
     hh	%H	hour
     mm	%M	minute

     • 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是15分钟 ~ 1440分钟（1天），跳变间隔15分钟。

     • 时区信息（TimeZone）时区信息决定了根据时间戳转换MaxCompute分区时所采用的转换时区。

     • 分隔符BLOB数据同步时，可以指定16进制分隔符来决定是否对BLOB数据分割后再同步MaxCompute，比如 0A表示\n（换行符）。

     • Base64编码DataHub BLOB默认存储二进制数据，而MaxCompute对应的同步列为STRING类型，因此管控台创建同步任务时，默认采用base64编码后进行同步，更多定制化需求请参考SDK实现。

查看同步任务

可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息， 包含同步点位、同步状态以及重启和停止等操作。

编辑同步任务

点击同步任务页面，选择编辑，即可修改认证方式、导入字段、分区间隔、时区、TimestampUnit值。

同步示例

常见问题

• 同步到MaxCompute timestamp字段时间变为1970-01-19

  • 原因：DataHub同步MaxCompute默认时间戳单位为微秒，用户写入时间戳为毫秒。

  • 解决方案：写入DataHub时间戳以微秒方式写入。