数据集成

• 查看运行资源
  • 任务运行在默认的资源组上，日志中会出现如下信息。

    running in Pipeline[basecommon_ group_xxxxxxxxx]

  • 任务运行在数据集成自定义资源组上，日志中会出现如下信息。

    running in Pipeline[basecommon_xxxxxxxxx]

  • 任务运行在独享数据集成资源上，日志中会出现如下信息。

    running in Pipeline[basecommon_S_res_group_xxx]

• 查看数据源信息

  当出现数据集成问题时，请参见添加数据源典型问题场景进行排查。

  您需要查看的数据源信息如下：

  1. 确认是什么数据源之间的同步。
  2. 确认数据源属于什么环境。

     阿里云数据库、连接串模式（数据集成网络可直接连通）、连接串模式（数据集成网络不可直接连通）、VPC网络环境的数据源（RDS或其它数据源）、金融云环境（VPC环境、经典网络）。

  3. 确认数据源测试连通性是否成功。
     请参见支持的数据源，确认数据源的相关信息是否正确。通常输入错误的情况如下：

     • 多个数据源库输入错误。
     • 输入的信息中加了空格或特殊字符。
     • 不支持测试连通性的问题，例如非RDS的VPC环境的数据源。
• 确认配置任务的区域
  登录DataWorks控制台，查看相关的区域。例如，华东2、华南1、中国（香港）、亚太东南1、欧洲中部1、亚太东南2等，通常默认是华东2。

  说明 购买MaxCompute后，才可以查看相应的区域。
• 界面模式报错，复制排查编码
  如果报错，请复制排查码，并提交工单进行咨询。

1. 登录DataWorks控制台。
2. 在左侧导航栏，单击工作空间列表。
3. 单击相应工作空间后的进入数据开发。
4. 单击左上角的图标，选择全部产品 > 运维中心。
5. 在左侧导航栏，单击周期任务运维 > 周期任务，右键单击没有按照预期进行调度的任务的DAG图，单击节点详情，查看任务使用的调度资源组。
6. 返回DataWorks控制台，在左侧导航栏，单击资源列表，进入自定义资源组页面。

   单击任务使用的调度资源后的服务器管理，查看服务器的状态是否停止，或是否被其它任务占用。

su - admin
/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

• 同步失败且产生脏数据
  数据集成任务运行失败，且因编码问题产生脏数据，报错日志如下所示。

  016-11-18 14:50:50.766 [13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据
  {"exception":"Incorrect string value: '\\xF0\\x9F\\x98\\x82\\xE8\\xA2...' for column 'introduction' at row 1","record":[{"byteSize":8,"index":0,"rawData":9642,"type":"LONG"},
  {"byteSize":33,"index":1,"rawData":"hello[1](http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/pic/56134/cn_zh/149872864****/%E5%9B%BE%E7%89%877.png)
  cry","type":"STRING"},
  {"byteSize":8,"index":4,"rawData":0,"type":"LONG"}],"type":"writer"}
  2016-11-18 14:50:51.265 [13350975-0-0-writer] WARN  CommonRdbmsWriter$Task - 回滚此次写入, 采用每次写入一行方式提交:java.sql.BatchUpdateException: Incorrect string value: '\xF0\x9F\x88\xB6\xEF\xB8...' for column 'introduction' at row 1

  对数据库进行编码格式设置或添加数据源时，编码未设置为utf8mb4。仅utf8mb4编码支持同步表情符，导致出现上述问题。

  解决方法如下：

  • JDBC格式添加的数据源修改utf8mb4：jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。
  • 实例ID形式添加数据源：在数据库名后拼接，格式为database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。
  • 修改数据源的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。
    说明 如果需要设置RDS数据源编码格式set names utf8mb4，在添加数据源时，必须使用无公网IP和连接串方式。
• 同步成功但数据乱码
  出现数据同步任务虽然成功，但数据乱码情况的原因如下：

  • 源端的数据本身是乱码。
  • 数据库和客户端的编码不一样。
  • 浏览器编码不一样，导致预览失败或乱码。
  解决方法如下：

  • 如果您的原始数据乱码，请首先处理好原始数据，再进行同步任务。
  • 如果数据库和客户端编码格式不一致，请先修改编码格式。
  • 如果浏览器编码和数据库或客户端编码格式不一致，请先统一编码格式，然后进行数据预览。

1. 新建一个MySQL数据源，选择数据源类型为连接串模式。
   说明

   • 如果自建SQL Server有公网连接：数据源配置JDBC公网地址，可以使用默认资源组同步任务。
   • 如果自建SQL Server无公网连接：可以使用数据集成自定义资源组同步任务，DataWorks需要开通专业版及以上版本。
   • 如果已使用高速通道打通本地IDC和专有网络，可以使用独享数据集成资源同步任务。独享数据集成资源专有网络和打通的专有网络一致。
2. 使用新建的数据源配置同步任务，重新执行即可。
   说明 如果是在RDS（MySQL）、RDS（SQL Server）等云产品之间同步，建议数据源类型选择为阿里云实例模式。

1. 执行下述语句，新建一张表aliyun。

   create table aliyun (`table` int ,msg varchar(10));

2. 执行下述语句，创建视图，为table列取别名。

   create view v_aliyun as  select `table` as col1,msg as col2 from aliyun;

   说明

   • table是MySQL的关键字，在数据同步时，拼接出来的代码会报错。因此需要通过创建视图，为table列起别名。
   • 不建议使用关键字作为表的列名。
3. 通过执行上述语句，为有关键字的列取列名。在配置同步任务时，选择v_aliyun视图代替aliyun表即可。

1. 登录DataWorks控制台，单击相应工作空间后的进入数据开发。
2. 通过向导模式创建数据同步任务，选择数据来源，例如orders_20170310。详情请参见创建同步任务。
3. 单击转换脚本图标，将向导模式转换为脚本模式。
4. 在脚本模式中，修改来源表的表名为变量，例如orders_${tablename}。

   由于按天区分表名称，且需要每天读取前一天的数据，所以在任务的参数配置中，为变量赋值为$[yyyymmdd-1]。

   说明 您也可以修改来源表的表名为变量orders_${bdp.system.bizdate}，则无需赋值。
5. 配置完成后，依次单击和，即可进行后续操作。

• 如果您可以使用公网，请配置为通过公网连接。

  为保证数据库的安全稳定，在开始使用数据库实例前，您需要将访问数据库的IP地址或IP段添加至目标实例的白名单中。详情请参见添加白名单。

• 如果您需要使用内网进行数据同步，请在DataWorks中使用自定义资源组，详情请参见（一端不通）数据源网络不通的情况下的数据同步。

• 如果可以访问公网，请添加对应区域的白名单，详情请参见添加白名单。
• 如果不可以访问公网，请使用自定义资源组连通网络，详情请参见自定义资源组。

org.postgresql.util.PSQLException: FATAL: terminating connection due to conflict with recovery

docs not support duplicate values in insert

• 方式一：通过公网进行数据同步。
  1. 配置数据源时，选择数据源类型为连接串模式。
  2. VPC环境下，您的MongoDB需要开通公网访问。
  3. 在MongoDB上放行相关白名单IP，详情请参见添加白名单。
  4. 测试数据连通性，详情请参见数据源测试连通性。
• 方式二：配置自定义资源组，通过内网进行数据同步。
  注意 您需要购买DataWorks专业版及以上版本，才可以使用该方式。
  1. 准备一台和MongoDB同区域、同网络的ECS作为调度资源，详情请参见新增自定义资源组。
  2. 将这台ECS的IP加入MongoDB的白名单或者安全组。
  3. 数据源测试连通时直接确定保存（不支持测试连通性）。
  4. 修改资源组为自定义调度资源，测试运行。