应用级别的数据完整性检查
对于使用读已提交事务的数据完整性强制业务规则非常困难，因为对每一个语句数据视图都在变化，并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。虽然一个可重复读事务在其执行期间有一个稳定的数据视图，在使用 ...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
通过crc64校验数据传输的完整性
OSS现在支持对各种方式上传的Object返回其crc64值，客户端可以和本地计算的crc64值做对比，从而完成数据完整性的验证。背景信息 OSS对新上传的Object进行crc64的计算，并将结果作为Object的元数据存储，随后在返回的response header中增加 ...
代码评审报告
是 数据完整性 数据获取是否完整 代码中的数据获取逻辑是否完整。例如累计客户数，是否完整包含了历史上有效存在，但当前不存在的客户。是 边界值检查 代码中对于边界值的处理是否正确。例如最近30天包含今天但不包含第前30天的。例如日期...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
数据风险点监控
为确保数据完整性，每天任务通常都是0点开始执行，计算前一天的数据。这些任务大多在深夜运行，要确保数据按时产出，需要考虑任务的执行优先级以及任务执行失败或时间过长时的报警问题。任务优先级 MaxCompute平台上任务优先级都一样，无法...
增加日志盘容量
为防范此类问题引发的数据完整性受损，事务处理中断以及性能下降等风险，建议您提前采取扩容措施来增加日志盘容量，以确保数据的安全性和事务处理过程的稳定性。说明 当保留的日志信息达到存储上限时，会优先删除最早存入的数据。增加日志...
需求阶段
同时建议进行深入的数据探查，包括但不限于数据完整性、字段离散值分布情况、空值、零值、重复值占比等情况。技术可行性：评估当前已有数据模型能否支撑需求开发，如果不能，则需要规划模型改造方案，并充分评估其影响。同时在测试环境进行...
快速入门
除了完美支持事务、子查询、多版本控制（MVCC）、数据完整性检查等特性外，阿里云数据库RDS PostgreSQL还集成了高可用和备份恢复等重要功能，减轻您的运维压力。当前RDS PostgreSQL支持10及以上版本。云数据库RDS MariaDB MariaDB是MySQL的...
产品优势
备份过程中，实时校验数据完整性。海量用户验证，风险快速发现并修复。多个工具拼凑，问题指数级增长。受限于硬件可靠性，易出问题，一旦出现磁盘坏道，容易出现不可逆转的数据丢失。扩展性 除了支持备份阿里云数据库，DBS还支持备份ECS自...
什么是RDS PostgreSQL
除了完美支持事务、子查询、多版本控制（MVCC）、数据完整性检查等特性外，RDS PostgreSQL还集成了高可用和备份恢复等重要功能，减轻您的运维压力。除此之外还提供如下高级功能：全密态数据库：数据在用户侧加密后传入云数据库，能够有效...
产品优势
合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的要求。云原生 依托云原生优势，为云上数据源提供一体化数据保护和防御机制。支持防护常见的结构化数据、非结构化数据和大数据产品，...
新功能发布记录
恢复库表 2023年1月 PolarDB MySQL版 新增使用DBS逻辑备份 PolarDB MySQL版 支持使用数据库备份DBS进行逻辑备份。备份方式3：使用DBS逻辑备份 2022年 发布时间 功能名称 发布内容 相关文档 2022年12月 RDS SQL Server跨地域备份功能优化 ...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
数据服务概述
API开发流程 创建数据源并配置网络连通性 使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步...
功能简介
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
功能简介
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
质量评估
完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：...
数据质量教程概述
数据质量的评估 数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估，详情请参见 数据质量评估标准。在本教程中，您将学会通过数据质量风险监控，保证数据的完整性、准确性、一致性；通过数据及时性监控，保证数据的及时性。...
数据质量教程概述
数据质量的评估 数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估，详情请参见 数据质量评估标准。在本教程中，您将学会通过数据质量风险监控，保证数据的完整性、准确性、一致性；通过数据及时性监控，保证数据的及时性。...
数据质量保障原则
完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。MongoDB提供如下备份功能：快照备份：保留某一时间点磁盘的数据状态。能够做到在分钟级完成数据库的恢复。物理备份：备份MongoDB实例中数据库相关的...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
备份恢复
备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。RDS提供如下两种 备份 功能：数据备份：强制项，您必须设置每周进行不少于2次的物理备份。另外，您也可以根据运维需要，通过控制台或者API随时发起...
设置SSL加密
SSL加密功能在传输层对网络连接进行加密，在提升通信数据安全性的同时，保证数据的完整性。本文介绍SSL加密功能的相关操作。前提条件 MongoDB 3.4及以上版本的副本集实例。注意事项 SSL CA证书仅支持通过云数据库MongoDB控制台下载。开通...
mysqldump
该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db数据库中的test_table表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-databases test_db-tables test_table 导出test_...
使用Mongo Shell通过SSL加密连接数据库
通过SSL加密功能可以在传输层对网络连接进行加密，在提升通信数据安全性的同时，保障数据的完整性。前提条件 实例类型为副本集实例，且数据库版本为3.4、4.0或4.2版本。说明 如果版本过低，您可以 升级数据库大版本。实例已开启SSL加密功能...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
什么是数据资源平台
数据建模：帮助用户在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性、可用性，通过客观量化评估指标帮助客户...
按时间点将备份数据恢复至新建实例
为保障数据的完整性和正确性，恢复分片集群实例的数据时，请勿选择最近的时间点（通常为最近1小时），否则会导致恢复失败。可恢复时间范围为日志备份的保留时长，如何设置日志备份，请参见 自动备份MongoDB数据。新建实例。在 克隆实例 ...
多值数据写入
本文介绍多值数据写入的写入模式及其响应内容。时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的...该模式适用于业务监控数据上报时对于上报数据的完整性存在需求，对于失败数据希望进行修复重试时的场景。
PolarDB PostgreSQL版间的迁移
目标数据库的存储空间，需大于源数据库已使用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
加强了数据库的安全性和可靠性，引入了更严格的访问控制策略和权限管理功能，保护您的数据免受潜在的安全威胁；改进了备份和恢复功能，使您能够更轻松地保护和恢复数据。升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的...
- 产品推荐
- 这些文档可能帮助您