全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
数据集成

脏数据和容错

更新时间:2017-09-08 08:18:56

数据同步通常会对接源宿两端数据存储,需要根据源宿两端数据源的具体信息适配和转换相应的数据内容。在传输过程中,可能存在由于两端元数据不匹配或者本身的业务数据传输转换失败(例如 OSS 上一个定义为 Integer 的类型存放了”abc”字符串),数据集成将自动识别上述异常情况,并提供自动记录和容错机制,最大限度保证数据传输的可靠性和健壮性。

数据集成 基于自动识别脏数据功能上,还提供数据传输容错上限。例如,由于历史遗留问题,用户本身知晓脏数据影响情况并且对于源端脏数据有一定容忍度。用户可以配置单个 Job 最大脏数据条数阈值,或者数据脏数据阈值。默认情况下,数据集成对脏数据不设限制。

本文导读目录