手动修正数据
本文将为您介绍如何在手动修正数据页面，对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果，在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正，手动修正数据的使用逻辑如下图所...
数据库管理常见问题
如果您知道准确的数据库名，也可以使用精准搜索来查找数据库。通过控制台创建数据库与使用SQL创建数据库有什么区别？通过控制台创建数据库与使用SQL创建数据库本身并无区别，但是通过控制台创建时，可以同时给指定账号授予权限，操作更加...
核心能力
全面、准确的数据质量评估报告 多种类型数据源自定义表及字段质量规则配置。支持自定义SQL质量规则。多维度数据质量评估，可视化质量评估报告。数据资产的管理、服务与敏捷交付，使用数据资产更便捷 数据资产智能管理 表资产、API服务资产...
查看敏感数据血缘（公测）
对于识别结果不准确的数据，您可以通过下图区域①修改当前字段的 敏感字段类型；通过下图区域②修改上、下游关联字段的 敏感字段类型、分类、分级 等信息。说明 当查询的字段没有上、下游关联字段时，列表将显示暂无数据。当敏感字段类型为...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
数据风险点监控
下面为您介绍使用DataWorks的数据质量（DQC）保障MaxCompute离线数据的准确性。说明 执行数据质量需使用DataWorks任务调度资源。DQC以数据集（DataSet）为监控对象，当离线MaxCompute数据发生变化时，DQC会对数据进行校验，并阻塞生产链路...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
功能简介
质量评估即根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，包括运行质量检查计划和场景画布两种途径；通过数据质量监控报告，查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、...
功能简介
质量评估即根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，包括运行质量检查计划和场景画布两种途径；通过数据质量监控报告，查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
数据加工过程卡点校验
因此，数据仓库需要适应多变的业务发展，及时保障数据的准确性。此外，您还需要考虑如何能将在线业务的变更高效地通知给基于MaxCompute的离线数据仓库。建议您同时关注工具和人员管理，既要在工具上自动捕捉每一次业务的变化，也要求开发...
产品优势
DTS内部对部分传输链路提供7×24小时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。DTS各模块间采用安全传输协议及安全token认证，并具有自动断点续传机制，有效地保证数据传输的可靠性。简单易用 DTS提供可视化管理界面...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
自动备份MongoDB数据
为保证按时间点恢复数据的准确性，建议您打开 日志备份 开关。重要 关闭日志备份后，日志备份的数据会被删除且不可恢复。日志备份保留天数 当打开 日志备份 开关时，您需要设置日志备份保留的天数，取值范围为7~730天，默认为7天。说明 ...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
通过整库迁移配置集成任务
适用于数据量较小的情况，可以提高同步数据的准确性和完整性。copy：数据通过文件形式同步。适用于数据量较大的情况，可以提高同步速度。配置数据同步。同步来源为 Hive、MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、...
流式ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
什么是ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
数据脱敏
动态脱敏通常用于生产环境，可以保持原始数据的完整性和准确性，同时避免了数据泄露的风险。动态脱敏的缺点是处理速度较慢，可能会影响数据库的查询效率。静态脱敏：对敏感数据进行预处理，将处理后的数据替换原始数据存储在数据库等存储...
RDS for MySQL查看增量数据的方法
RDS for MySQL查看增量数据可以通过SQL洞察、Binlog以及DTS订阅三种方式。...DTS订阅 DTS的数据订阅功能可以将RDS的增量数据实时推送给用户，用户可以定制增量数据，可以选择部分表的结构或者数据的增量，详情请参见 数据订阅（新版）。
RDS MySQL查看增量数据的方法
RDS MySQL查看增量数据可以通过SQL洞察、Binlog以及DTS订阅三种方式。...DTS订阅 DTS的数据订阅功能可以将RDS的增量数据实时推送给用户，用户可以定制增量数据，可以选择部分表的结构或者数据的增量，详情请参见 数据订阅（新版）。
通过自定义模型识别
说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。建议您增加样本数据，重新训练模型，直至准确率达到100%后再投入上线使用。单击 确定创建，完成当前规则模型的创建。后续步骤 成功创建规则模型...
数据保护伞概述
同时，针对规则识别不准确的敏感数据，可手动修正。敏感数据概况 敏感数据访问及导出情况 查看敏感数据血缘（公测）手动修正数据 数据水印溯源 若存在数据被泄露情况，可通过提取数据泄露文件中水印信息，帮助您定位到可能会泄露目标数据的...
概述
云原生数据仓库AnalyticDB PostgreSQL版 向量数据库本身既支持向量索引也支持全文索引，因此它可以通过向量检索与全文检索实现双路召回，极大地提高向量数据的召回准确性。数据实时更新和实时查询。云原生数据仓库AnalyticDB PostgreSQL版 ...
新建数据探查任务
全部记录：已选字段指定分区内的所有记录均参与探查，适用于需要对全量数据进行探查的场景，可以更准确的反馈数据情况；如果记录数较多，可能会运行较长时间，消耗较多资源。随机抽样n条记录：从已选字段指定分区内随机抽取n条记录进行探查...
新建数据探查任务
全部记录：已选字段指定分区内的所有记录均参与探查，适用于需要对全量数据进行探查的场景，可以更准确的反馈数据情况；如果记录数较多，可能会运行较长时间，消耗较多资源。随机抽样n条记录：从已选字段指定分区内随机抽取n条记录进行探查...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
DescribeColumns-查询数据资产表中列的数据
接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 DescribeColumnsV2。建议您在开发应用程序时使用较新的版本 DescribeColumnsV2。QPS 限制 本接口的...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
迁移时源库为SQL Server的注意事项及限制
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量...及时性 保障数据的及时产出才能体现数据的价值。例如，决策分析师通常希望当天就可以看到前一天的数据。若等待时间过长，数据失去了及时性的价值，数据分析工作将失去意义。
PolarDB PostgreSQL版间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
自定义RDBMS数据库及同步数据
步骤三：创建数据源实例 基于自定义的数据源组件类型（test_rdbms_mysql），创建 test_rdbms_mysql 类型的数据源实例。完成创建数据源实例后，即可将RDS MySQL实例的业务数据引入至Dataphin实例。步骤四：创建离线管道任务 基于自定义的...
自定义RDBMS数据库及同步数据
步骤三：创建数据源实例 基于自定义的数据源组件类型（test_rdbms_mysql），创建 test_rdbms_mysql 类型的数据源实例。完成创建数据源实例后，即可将RDS MySQL实例的业务数据引入至Dataphin实例。步骤四：创建离线管道任务 基于自定义的...
从自建SQL Server增量迁移至RDS SQL Server
DTS会自动地在阿里云RDS SQL Server中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS SQL Server中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
适配组件数据
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...
- 产品推荐
- 这些文档可能帮助您