本文为您介绍离线同步的相关问题。
文档概述
在查看相关问题时,您可以通过匹配关键字来查找常见相似问题及其对应的解决方案。
问题分类 | 问题关键字 | 相关文档 |
离线同步任务运维常见问题 | ||
非插件报错原因及解决方案 | ||
具体插件报错原因及解决方案 | ||
离线同步场景及解决方案 | ||
使用API方式同步的时候,支持使用来源端的(例如MaxCompute)函数做聚合吗?例如源表有a、b两列作为Lindorm的主键 | ||
报错信息及解决方案 | ||
读取OSS数据报错:AccessDenied The bucket you access does not belong to you. | ||
网络通信问题
为什么数据源测试连通性成功,但是离线同步任务执行失败?
离线任务,运行报错:Communications link failure
离线同步任务执行偶尔成功偶尔失败
资源设置问题
离线任务,运行报错:[TASK_MAX_SLOT_EXCEED]:Unable to find a gateway that meets resource requirements. 20 slots are requested, but the maximum is 16 slots.
离线任务,运行报错:OutOfMemoryError: Java heap space
实例运行冲突
离线任务,运行报错:Duplicate entry 'xxx' for key 'uk_uk_op'
运行超时报错
离线任务,运行报错:MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.
如何排查离线同步任务运行时间长的问题?
切换资源组
如何切换数据集成任务执行资源组?
脏数据
脏数据如何排查和定位?
如何查看脏数据?
如果离线同步传输数据时,脏数据超出限制,是否所有数据都不会同步?
如何处理编码格式设置/乱码问题导致的脏数据报错?
源表默认值是否保留
源表有默认值,通过数据集成创建的目标表,默认值、非空属性等会保留吗?
切分键
离线集成任务配置切分键时,联合主键是否可以作为切分键?
SSRF攻击
任务存在SSRF攻击Task have SSRF attacks
如何处理?
日期写入
日期时间类型数据写入文本时,如何保留毫秒或者指定自定义日期时间格式?
MaxCompute
读取MaxCompute(ODPS)表数据时,添加一行注意事项
读取MaxCompute(ODPS)表数据时,如何同步分区字段?
读取MaxCompute(ODPS)表数据时,如何同步多个分区数据?
MaxCompute如何实现列筛选、重排序和补空等
MaxCompute列配置错误的处理
MaxCompute分区配置注意事项
MaxCompute任务重跑和failover
读取MaxCompute(ODPS)表数据报错:The download session is expired.
写入MaxCompute(ODPS)报错block失败:Error writing request body to server
MySQL
MySQL分库分表如何将分表同步到一张MaxCompute中
目的端MySQL表字符集为utf8mb4时,同步到MySQL中的中文字符出现乱码时,如何处理?
写入/读取MySQL报错:Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout/net_read_timeout、' on the server.
离线同步至MySQL报错:[DBUtilErrorCode-05]ErrorMessage: Code:[DBUtilErrorCode-05]Description:[往您配置的写入表中写入数据时失败.]. - com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed
读取MySQL数据库报错:The last packet successfully received from the server was 902,138 milliseconds ago
PostgreSQL
读取PostgreSQL数据报错:org.postgresql.util.PSQLException: FATAL: terminating connection due to conflict with recovery
RDS
离线同步源端是亚马逊的RDS时报错:Host is blocked
MongoDB
添加MongoDB数据源时,使用root用户时报错
读取MongoDB时,如何在query参数中使用timestamp实现增量同步?
MongoDB同步至数据目的端数据源后,时区加了8个小时,如何处理?
读取MongoDB数据期间,源端有更新记录,但未同步至目的端,如何处理?
MongoDB Reader是否大小写敏感?
怎么配置MongoDB Reader超时时长?
读取MongoDB报错:no master
读取MongoDB报错:MongoExecutionTimeoutException: operation exceeded time limit
离线同步读取MongoDB报错:DataXException: operation exceeded time limit
MongoDB同步任务运行报错:no such cmd splitVector
MongoDB离线同步报错:After applying the update, the (immutable) field '_id' was found to have been altered to _id: "2"
Redis
写入Redis使用hash模式存储数据时,报错:Code:[RedisWriter-04], Description:[Dirty data]. - source column number is in valid!
OSS
读取OSS文件是否有文件数限制?
写入OSS出现随机字符串如何去除?
读取OSS数据报错:AccessDenied The bucket you access does not belong to you.
Hive
离线同步数据至本地Hive报错:Could not get block locations.
DataHub
写入DataHub时,一次性写入数据超限导致写入失败如何处理?
LogHub
读取LogHub同步某字段有数据但是同步过来为空
读取LogHub同步少数据
读取LogHub字段映射时读到的字段不符合预期
Lindorm
使用lindorm bulk方式写入数据,是否每次都会替换掉历史数据?
Elasticsearch
如何查询一个ES索引下的所有字段?
数据从ES离线同步至其他数据源中时,每天同步的索引名称不一样,如何配置?
Elasticsearch Reader如何同步对象Object或Nested字段的属性?(例如同步object.field1)
存储在ODPS的string类型同步至ES后,两侧缺少引号,如何处理?源端JSON类型的string是否可以同步为ES中的NESTED对象?
源端数据为string "[1,2,3,4,5]"
,如何以数组形式同步至ES中存储?
向ES写入数据时,会做一次无用户名的提交,但仍需验证用户名,导致提交失败,因此提交的所有请求数据都被记录,导致审计日志每天都会有很多,如何处理?
如何同步至ES中为Date日期类型?
Elasticsearch Writer指定外部version导致写入失败,如何处理?
离线同步读取Elasticsearch报错:ERROR ESReaderUtil - ES_MISSING_DATE_FORMAT, Unknown date value. please add "dataFormat". sample value:
离线同步读取Elasticsearch报错:com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式:illegal ref, [ . 请按照标准json格式提供配置信息.
离线同步写入Elasticsearch报错:version_conflict_engine_exception.
离线同步写入Elasticsearch报错:illegal_argument_exception.
ODPS Array字段类型数据离线同步至ElasticSearch报错:dense_vector
Elasticsearch writer配置了Settings,为什么在创建索引时不生效?
自建的索引中nested的属性类型type为keyword,为什么自动生成之后类型会变成 keyword?(自动生成是指配置cleanup=true
执行同步任务)
Kafka
读取kafka配置了endDateTime来指定所要同步的数据的截止范围,但是在目的数据源中发现了超过这个时间的数据
Kafka中数据量少,但是任务出现长时间不读取数据也不结束,一直运行中的现象是为什么?
RestAPI
RestAPI Writer报错:通过path:[] 找到的JSON串格式不是数组类型
OTS Writer配置
向包含主键自增列的目标表写入数据,需要如何配置OTS Writer?
时序模型配置
在时序模型的配置中,如何理解_tag
和is_timeseries_tag
两个字段?
自定义表名
离线同步任务如何自定义表名?
无法查看表
配置离线同步节点时,无法查看全部的表,该如何处理?
表名关键字
如何处理表列名有关键字导致同步任务失败的情况?
表修改加列
离线同步源表有加列(修改)如何处理?
字段映射
离线任务,运行报错:plugin xx does not specify column
非结构化数据源,单击数据预览字段无法映射,如何处理?
索引
数据同步任务where条件没有索引,导致全表扫描同步变慢
修改TTL
同步的数据表,是否只能使用Alter方式来修改TTL?
函数聚合
使用API方式同步的时候,支持使用来源端的(例如MaxCompute)函数做聚合吗?例如源表有a、b两列作为Lindorm的主键
文档内容是否对您有帮助?