监测数据质量
您可使用数据管理DMS的数据质量功能来自定义表或列维度的数据质量规则，并结合任务编排的稽核任务自动检查数据质量，保证数据的一致性、唯一性、充分性等，从而提升二次数据分析与开发的质量。前提条件 目标实例的管控模式为安全协同。更多...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案是否合适业务需求以及如何改进。例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
数据质量治理
用户通过设置的数据质量规则执行面向不同计算资源的质量检查任务（包括质量检查计划和场景画布规则），在物理表监控明细以及数据质量监控报告页面查看系统整体数据质量概览及多维度细分数据的质量情况。前提条件 已根据快速入门教程完成...
数据质量监控
数据质量状态说明如下：优秀（绿灯）：没有命中规则。一般（黄灯）：命中数据表的弱规则，建议您根据实际情况使用。较差（红灯）：命中数据表的强规则，请联系数据开发者修改。说明 质量较差表细分为两种：如果质量差有下游表，即该表可能...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
数据质量计费说明
数据质量为您提供全链路的数据质量方案，包括数据探查、对比、质量监控、SQL扫描和智能报警等功能，数据质量根据任务实例触发的数据质量规则实例数量进行计费，本文为您介绍数据质量的计费详情。费用产生原则 数据质量仅支持按量付费，不...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
配置数据质量监控
本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。操作步骤 进入数据质量页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
管理数据质量待发布对象
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。待发布 数据质量 对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据质量 页签...
管理数据质量待发布对象
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。待发布 数据质量 对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据质量 页签...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
Dataphin数据质量规则试跑失败
产品名称 Dataphin 产品模块 数据质量 概述 描述数据质量规则试跑失败的原因。问题描述 试跑数据质量规则的时候发现试跑失败，规则是想检测出cust_XXX_temp不等于10的异常数据。试跑日志如下：2021-08-12 14:05:12-DQE Metric Summary-2021...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
进入数据质量概览（旧版）
数据质量概览页面为您展示订阅数据的报警以及任务的阻塞情况。查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>...
GetDataQualityAnalysis-获取数据质量评价结果DQR、...
g1 double 数据质量评价指标 1：活动数据可信度 3 g2 double 数据质量评价指标 2：因子数据可信度 3 g3 double 数据质量评价指标 3：时间代表性 3 g4 double 数据质量评价指标 4：地理代表性 3 dataQualityResult object 指标得分 data_...
获取推流过程质量数据
调用DescribeLiveUpVideoAudioInfo获取推流过程质量数据。使用说明 数据最大查询跨度为24小时。数据最小查询跨度为1分钟。数据最大查询范围为31天。QPS限制 本接口的单用户QPS限制为10次/分钟。超过限制，API调用会被限流，这可能会影响您...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
数据质量规则配置流程
本文为您介绍数据质量监控规则的配置流程及生效逻辑，以及规则列表的相关操作。规则配置流程 您可基于表配置单个表的数据质量监控规则，也可基于模板，批量配置多个表的数据质量监控规则，具体如下。基于表配置数据质量监控规则（单个配置...
Dataphin为什么数据质量规则都是开启的校验记录里还是...
问题描述 Dataphin为什么数据质量规则都是开启的校验记录里还是没有数据。问题原因 校验记录查询界面默认是当天的记录，需要查询日期和校验日期匹配。解决方案 在校验记录查询操作时按需要查询对应的日期。适用于 Dataphin 当前环境：独立...
创建数据表质量规则
规则校验 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
创建数据表质量规则
规则校验 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
创建全域数据表质量规则
规则校验 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
- 产品推荐
- 这些文档可能帮助您