概述

DataHub数据同步功能

DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据实时/准实时的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。用户只需向DataHub服务中写入一次数据，并且在DataHub服务中配置数据同步功能，便可以在所支持的各个云产品中使用该数据，提供完整的数据闭环。

DataHub支持云产品

注意：

• 使用Maxcompute当batch数据量达到64M或者5min同步一次

• 使用TableStore/OSS/ElasticSearch/函数计算/Hologres当batch数据量达到4M或 者20s会同步一次

• 同步MySQL/RDS/ADS3.0 当batch数据量达到512kb或者20s会进行一次同步

使用说明

1. 用户使用数据同步时尽可能的进行同一Region的云产品之间的数据同步，一方面避免跨Region网络不通问题，另一方面也减少不同Region之间数据同步的网络时延。

2. 由于阿里云的网络隔离原因，用户配置目标服务的Endpoint时请使用对应服务的内网地址（经典网络），不支持使用公网地址同步。

3. DataHub数据同步仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目标端的数据产生少量重复，用户使用时请注意进行去重处理。

4. 用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。

5. 目前只有DataHub topic的Owner/Creator账号才具备创建connector(数据同步)的权限。

IP白名单

服务白名单

目前MaxCompute支持配置project级别的ip白名单，如果设置ip白名单之后DataHub将无法正常同步MaxCompute。为了解决该问题，MaxCompute添加了服务白名单，可以将DataHub的服务名称添加到MaxCompute的服务白名单中，此时DataHub便可以正常将数据同步至MaxCompute。

DataHub的服务名称当前定义为DataHub，可以通过SDK或者odpscmd进行设置。

SDK设置方式参考以下示例:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    //将DataHub的服务名称添加到MaxCompute的服务白名单，如果添加多个需要以逗号隔开，每次设置会覆盖之前的设置
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    //检查当前MaxCompute服务白名单是否服务预期
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("current service list: " + prop.get("odps.security.ip.whitelist.services"));
}

odpscmd设置参考以下示例：

启动odpscmd之后，输入以下命令 进行设置。

setproject odps.security.ip.whitelist.services=DataHub;

设置完成之后，可以通过以下是否设置成功

setproject;
## 结果有 odps.security.ip.whitelist.services=DataHub配置项则说明设置成功