开发自定义组件示例
在这里定义输入组件读取到数据后，往下游写出的数据的schema，一般而言，用户可能需要连接到db，获取到真实数据源的schema*特别注意：这里的column名字必须和输入组件配置页面的column名字完全一样，顺序也要一样。比如：这里定义了id、...
开发自定义组件示例
在这里定义输入组件读取到数据后，往下游写出的数据的schema，一般而言，用户可能需要连接到db，获取到真实数据源的schema*特别注意：这里的column名字必须和输入组件配置页面的column名字完全一样，顺序也要一样。比如：这里定义了id、...
配置数据校验
您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不一致的问题。注意事项 经典网络的数据库实例暂不支持增量数据校验功能。开启多表归并的实例暂不支持数据校验功能。运行状态...
数据集成概述
数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端最大值（或最小值大于源端...
限制说明
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
升级数据库大版本
升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库，请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
MongoDB 4.4
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 7.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 6.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 5.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
迁移时源库为MongoDB的注意事项及限制
若待迁移的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。其他限制 目标端实例为分片集群架构时：需清除孤立文档，否则将影响迁移性能。若在迁移过程遇到_id 冲突的文档，则可能导致数据不一致或...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
MongoDB 4.0
升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库，请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
使用DTS迁移副本集架构的自建MongoDB数据库上云
全量数据迁移 请勿手动结束迁移任务，否则可能会导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。增量数据迁移 迁移任务不会自动结束，您需要手动结束迁移任务。说明 请选择合适的时间手动结束迁移任务，例如业务低峰期...
MongoDB 4.2
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 说明 代表支持，代表不支持。计费管理 功能 通用型...
使用DTS迁移副本集架构的自建MongoDB数据库上云
全量数据迁移 请勿手动结束迁移任务，否则可能会导致数据不完整。您只需等待迁移任务完成即可，迁移任务会自动结束。增量数据迁移 迁移任务不会自动结束，您需要手动结束迁移任务。说明 请选择合适的时间手动结束迁移任务，例如业务低峰期...
数字翻牌器
数据抖动修正 打开开关，保护翻牌器数据不下跌，只能显示上涨；关闭开关，翻牌器数据跌涨都会显示。开启动画 打开开关，开启翻牌器数字动画。始终动画 打开开关，当传入数据不变时始终开启动画。仅在打开 开启动画 配置项后可以配置。动画...
数据投递
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
从MaxCompute迁移至RDS MySQL
说明 由于暂不支持增量数据迁移，数据迁移期间请勿在源MaxCompute实例的迁移对象中写入新的数据，否则会导致迁移对象在源与目标的数据不一致。目标库支持的实例类型 执行数据迁移操作的MySQL数据库支持以下实例类型：ECS上的自建数据库 ...
FineBI
数据库与BI数据不同步 处理方法：更多详情，请参见 数据库与 BI 数据不同步。更新数据后没有结果 处理方法：单行没有结果可能是该行的计算结果为null；若整列没有结果，如果是列上有函数，可能是该函数在 AnalyticDB MySQL版 中不兼容，请...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
迁移MongoDB实例至其他地域
如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。预检查通过后，单击 下一步。在 购买配置确认 页面，选择 链路规格，并勾选 数据传输（按量付费）服务条款。单击 立即购买并启动，迁移任务正式开始。查看迁移任务...
迁移MongoDB实例至其他地域
如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。预检查通过后，单击 下一步。在 购买配置确认 页面，选择 链路规格，并勾选 数据传输（按量付费）服务条款。单击 立即购买并启动，迁移任务正式开始。查看迁移任务...
跨阿里云账号迁移MongoDB实例
只勾选 全量迁移：全量迁移过程中，源实例有数据更新时，更新数据不一定能够被迁移至目标实例。只勾选 增量迁移;迁移任务启动后，DTS只迁移源实例产生的增量数据。增量迁移不支持tigger的同步，具体请参见 源库存在触发器时如何配置同步...
跨阿里云账号迁移MongoDB实例
只勾选 全量迁移：全量迁移过程中，源实例有数据更新时，更新数据不一定能够被迁移至目标实例。只勾选 增量迁移;迁移任务启动后，DTS只迁移源实例产生的增量数据。增量迁移不支持trigger的同步，具体请参见 源库存在触发器时如何配置同步...
同步时源库为SQL Server的注意事项及限制
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若同步任务包含增量数据同步，则不支持重建索引操作，否则...
PolarDB-X间的数据实时同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标实例中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。请确认数据传输对 DECIMAL、FLOAT 或 DOUBLE 等列类型的迁移精度是否符合预期。如果目标端字段类型的精度小于源端字段类型...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。请确认数据传输对 DECIMAL、FLOAT 或 DOUBLE 等列类型的迁移精度是否符合预期。如果目标端字段类型的精度小于源端字段类型...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
数据导入方式介绍
批量可见：数据导入任务完成前数据不可见，任务完成后导入的数据批量可见。分区覆盖：通过外表导入的数据分区会覆盖表中已存在的同一分区。构建索引：通过外表导入会同步构建索引，导入任务完成则生成索引，可提升查询性能。常见使用场景 ...
同步时源库为MongoDB的注意事项及限制
说明 DTS要求源数据库的Oplog日志至少保留7天以上，否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内...
数据追踪
在DMS的SQL窗口中对数据库进行变更操作时，可能由于误更新、误删除、误写入等原因导致数据不符合预期。DMS 的数据追踪功能支持按需查找目标时间段内（数据库Binlog保存时长内）的相关更新信息，并生成回滚脚本，帮助您快速将数据恢复到变更...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
生成测试数据
ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。规则设置 设置数据生成规则。在 规则 和 细则 列中对选择...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
- 产品推荐
- 这些文档可能帮助您