创建同步MaxCompute

准备工作

确认是否需要添加服务白名单

目前MaxCompute支持配置project级别的ip白名单，如果设置ip白名单之后DataHub将无法正常同步MaxCompute。为了解决该问题，MaxCompute添加了服务白名单，可以将DataHub的服务名称添加到MaxCompute的服务白名单中，此时DataHub便可以正常将数据同步至MaxCompute。

DataHub的服务名称当前定义为DataHub，可以通过SDK或者odpscmd进行设置。

SDK设置方式参考以下示例:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    //将DataHub的服务名称添加到MaxCompute的服务白名单，如果添加多个需要以逗号隔开，每次设置会覆盖之前的设置
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    //检查当前MaxCompute服务白名单是否服务预期
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

odpscmd设置参考以下示例:

启动odpscmd之后，输入 setproject odps.security.ip.whitelist.services=DataHub;进行设置。

设置完成之后，可以通过 setproject;查看下是否设置成功。如果看到odps.security.ip.whitelist.services=DataHub则表示设置成功。

创建同步任务

1. 单击DataHub中已创建的Topic，进入Topic详情页。

2. 单击Topic详情页右上角的。

3. 在新建Connector界面单击MaxCompute，配置新建Connector弹框的参数，单击创建。

   以下为新建Connector的关键参数介绍：

   参数	参数说明
   导入字段	DataHub可以根据用户设置将部分column内容同步到MaxCompute表中。
   分区模式	分区模式决定了将数据写入到MaxCompute哪个分区中，分别支持以下四种参数： USER_DEFINE: 用户自定义Field SYSTEM_TIME: 写入DataHub时间 EVENT_TIME: Schema中event_time字段，单位为微秒 META_TIME: Attributes中的__dh_meta_time__字段，单位毫秒
   分区配置	分区配置可选以下三种参数： %Y%m%d：对应ds分区，获取的是日期。 %H：对应hh分区，获取的是小时。 %M：对应分钟分区，获取的是分钟。
   Timestamp Unit	支持配置以下参数： MICROSECOND MILLISCOND SECOND

   说明

   • 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是15分钟 ~ 1440分钟（1天），跳变间隔是15分钟。

   • 时区信息（TimeZone）决定了根据时间戳转换MaxCompute分区时所采用的转换时区。

   • 分隔符BLOB数据同步时，可以指定16进制分隔符来决定是否对BLOB数据分割后再同步MaxCompute，比如 0A表示\n（换行符）。

   • Base64编码DataHub BLOB默认存储二进制数据，而MaxCompute对应的同步列为STRING类型，因此管控台创建同步任务时，默认采用base64编码后进行同步，更多定制化需求请参考SDK实现。