数据集成常见问题

离线同步任务运维常见问题

• 为什么数据源测试连通性成功，但是离线同步任务执行失败？

• 如何切换数据集成任务执行资源组？

• 脏数据如何排查和定位？

• 如何查看脏数据？

• 如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？

• 如何排查离线同步任务运行时间长的问题？

• 源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？

• 离线集成任务配置切分键时，联合主键是否可以作为切分键？

非插件报错原因及解决方案

• 如何处理编码格式设置/乱码问题导致的脏数据报错？

• 任务存在SSRF攻击Task have SSRF attacks如何处理？

• 离线同步任务执行偶尔成功偶尔失败

• 离线同步源表有加列（修改）如何处理？

• 如何处理表列名有关键字导致同步任务失败的情况？

• 日期时间类型数据写入文本时，如何保留毫秒或者指定自定义日期时间格式？

具体插件报错原因及解决方案

• 添加MongoDB数据源时，使用root用户时报错

• 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？

• MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？

• 读取MongoDB数据期间，源端有更新记录，但未同步至目的端，如何处理？

• MongoDB Reader是否大小写敏感？

• 怎么配置MongoDB Reader超时时长？

• 读取OSS文件是否有文件数限制？

• 写入DataHub时，一次性写入数据超限导致写入失败如何处理？

• 使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？

• 如何查询一个ES索引下的所有字段？

• 向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？

• 在时序模型的配置中，如何理解_tag和is_timeseries_tag两个字段？

离线同步场景及解决方案

• 离线同步任务如何自定义表名？

• 读取MaxCompute（ODPS）表数据时，添加一行注意事项

• 读取MaxCompute（ODPS）表数据时，如何同步分区字段？

• 读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？

• MaxCompute如何实现列筛选、重排序和补空等

• MaxCompute列配置错误的处理

• MaxCompute分区配置注意事项

• MaxCompute任务重跑和failover

• 配置离线同步节点时，无法查看全部的表，该如何处理？

• 读取LogHub同步某字段有数据但是同步过来为空

• 读取LogHub同步少数据

• 读取LogHub字段映射时读到的字段不符合预期

• 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据

• Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？

• 写入OSS出现随机字符串如何去除？

• MySQL分库分表如何将分表同步到一张MaxCompute中

• 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？

• 数据同步任务where条件没有索引，导致全表扫描同步变慢

• 同步的数据表，是否只能使用Alter方式来修改TTL?

• 使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键

• Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步object.field1）

• 向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？

• 如何同步至ES中为Date日期类型？

• Elasticsearch Writer指定外部version导致写入失败，如何处理？

• 存储在ODPS的string类型同步至ES后，两侧缺少引号，如何处理？源端JSON类型的string是否可以同步为ES中的NESTED对象？

• 源端数据为string "[1,2,3,4,5]"，如何以数组形式同步至ES中存储？

• Elasticsearch writer配置了Settings，为什么在创建索引时不生效？

• 自建的索引中nested的属性类型type为keyword，为什么自动生成之后类型会变成 keyword？（自动生成是指配置cleanup=true执行同步任务）

• 非结构化数据源，单击数据预览字段无法映射，如何处理？

报错信息及解决方案

• 离线任务，运行报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a gateway that meets resource requirements. 20 slots are requested, but the maximum is 16 slots.

• 离线任务，运行报错：OutOfMemoryError: Java heap space

• 读取OSS数据报错：AccessDenied The bucket you access does not belong to you.

• 写入Redis使用hash模式存储数据时，报错：Code:[RedisWriter-04], Description:[Dirty data]. - source column number is in valid!

• 读取PostgreSQL数据报错：org.postgresql.util.PSQLException: FATAL: terminating connection due to conflict with recovery

• 写入/读取MySQL报错：Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout/net_read_timeout' on the server.

• 读取MySQL数据库报错：The last packet successfully received from the server was 902,138 milliseconds ago

• 离线同步至MySQL报错：[DBUtilErrorCode-05]ErrorMessage: Code:[DBUtilErrorCode-05]Description:[往您配置的写入表中写入数据时失败.]. - com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed

• 离线任务，运行报错：Duplicate entry 'xxx' for key 'uk_uk_op'

• 离线任务，运行报错：Communications link failure

• 离线任务，运行报错：plugin xx does not specify column

• 读取MaxCompute（ODPS）表数据报错：The download session is expired.

• 写入MaxCompute(ODPS）报错block失败：Error writing request body to server

• RestAPI Writer报错：通过path:[] 找到的JSON串格式不是数组类型

• 离线同步源端是亚马逊的RDS时报错：Host is blocked

• 读取MongoDB报错：no master

• 读取MongoDB报错：MongoExecutionTimeoutException: operation exceeded time limit

• MongoDB同步任务运行报错：no such cmd splitVector

• MongoDB离线同步报错：After applying the update, the (immutable) field '_id' was found to have been altered to _id: "2"

• 离线同步读取Elasticsearch报错：ERROR ESReaderUtil - ES_MISSING_DATE_FORMAT, Unknown date value. please add "dataFormat". sample value:

• 离线同步读取Elasticsearch报错：com.alibaba.datax.common.exception.DataXException: Code:[Common-00].

• 离线同步写入Elasticsearch报错：version_conflict_engine_exception.

• 离线同步写入Elasticsearch报错：illegal_argument_exception.

• ODPS Array字段类型数据离线同步至ElasticSearch报错：dense_vector

• 离线同步数据至本地Hive报错：Could not get block locations.

• 离线任务，运行报错：MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.

实时同步任务配置须知

• 实时同步任务支持哪些数据源？

• 为什么实时同步任务延迟较大？

• 实时同步任务延迟解决方案。

• 实时同步任务为什么不建议使用公网？

• 实时同步字段格式问题。

• 实时同步数据时，如何处理TRUNCATE？

• 如何提高实时同步的速度和性能？

• 实时同步是否支持在界面运行？

• 实时同步MySQL数据源时速度为什么会变慢？

• 实时同步中选择单库与选择多库的内存占用模式为什么会有差异？

• 实时同步任务DDL策略都有哪些？

实时同步MySQL数据常见问题

实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？

实时同步至Oracle、PolarDB、MySQL常见问题

实时同步Oracle、PolarDB、MySQL任务重复报错。

报错信息与解决方案

报错信息与解决方案。