全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
数据集成

脏数据和容错

更新时间:2018-04-08 21:52:55

数据同步通常会对接源端和目标端的数据存储,需要根据来源和目标两端数据源的具体信息适配和转换相应的数据内容。在传输过程中,可能存在由于两端元数据不匹配或者本身的业务数据传输转换失败的情况,例如OSS上一个定义为Integer的类型存放了abc字符串,数据集成将自动识别上述异常情况,并提供自动记录和容错机制,最大限度保证数据传输的可靠性和健壮性。

数据集成基于自动识别脏数据功能上,还提供数据传输容错上限。例如:由于历史遗留问题,您本身知晓脏数据影响情况并且对于源端脏数据有一定容忍度。您可以配置单个Job最大脏数据条数阈值,或者数据脏数据阈值。默认情况下,数据集成对脏数据不设限制。

本文导读目录