管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
配置数据质量监控
数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量...
配置数据质量监控
数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量...
离线集成概述
质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。具体操作，配置集成管道质量监控。相关：离线管道的相关对象，指...
离线集成概述
质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。具体操作，配置集成管道质量监控。相关：离线管道的相关对象，指...
运维中心概述
数据质量通过表配置的分区表达式来匹配节点产出的表分区，数据质量规则关联产出该表数据的调度节点，当节点运行后（运维中心中通过测试实例，补数据实例，周期实例的运行及重跑操作产出表数据），会触发该数据质量规则校验，您可以设置规则...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
数据质量风险监控
在表监控规则页面，单击 关联调度，配置规则与任务的绑定关系。在 关联调度 弹框中输入您需要关联的任务节点名称，单击 添加。单击 关闭 退出 关联调度 页面。如下图所示，关联调度配置成功。配置任务订阅。关联调度后，每次调度任务运行...
数据质量风险监控
在表监控规则页面，单击 关联调度，配置规则与任务的绑定关系。在 关联调度 弹框中输入您需要关联的任务节点名称，单击 添加。单击 关闭 退出 关联调度 页面。如下图所示，关联调度配置成功。配置任务订阅。关联调度后，每次调度任务运行...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
配置示例：MaxCompute
在数据表的 监控规则 页面，单击 分区表达式 后的+，添加分区表达式。您可以选择新建分区表达式，也可以选择推荐的分区表达式：新建分区的表达式 在 添加分区 对话框中，您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择...
如何处理查询API限流问题？
对于导出实时监控数据的场景，建议使用实时导出监控数据的方案。实时导出监控数据具有成本低、时延低和可靠度高等优点，BatchExport 的QPS是1000次/秒。如果以上方法均不能解决问题，请给云监控 提交工单。相关文档 如何查询API调用次数？...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
Redis数据迁移方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 提供了多种数据迁移方案，包括自建Redis数据库迁移上云、云数据库Redis版 实例间的数据迁移、其他云Redis数据迁移到阿里云等，满足多种业务场景下Redis数据迁移的需求...
监控与日志
数据表或者索引监控数据 在数据表的 监控指标 页签，查看数据表、二级索引表或者多元索引的平均访问延迟、每秒请求次数等监控数据。多元索引计量数据 在数据表的 索引管理 页签，单击多元索引 操作 列的 索引详情，查看多元索引的存储量、...
数据库监控
数据库监控指标表 监控指标 参数 说明 QPS qps PolarDB-X 1.0 实例所选数据库每秒处理的SQL语句数目的总和。活跃连接数 con 应用到 PolarDB-X 1.0 实例所选数据库的连接总数。活跃线程 thread PolarDB-X 1.0 实例中目标数据库用来执行SQL的...
通过表格存储控制台查看监控数据
在 实例详情 页签的 数据表列表 区域，单击目标数据表 监控 列的 图标。在 监控指标 页签，选择数据表、二级索引表或者多元索引。设置时间范围。您可以直接单击选择预设时间段或者自行选择所需日期范围。日期范围不能超过30天。选择要查看...
数据质量入门
本文示例配置表数据质量监控规则，保障产出的表数据符合预期，为您介绍数据质量的基本使用。前提条件 根据 数据开发：开发者 文档创建 result_table 节点，及节点产出的 result_table 表。说明 本文均以 result_table 表来演示数据质量的...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
企业云监控的监控数据存储方案说明
当您在企业云监控中创建指标仓库时，需要选择监控数据的存储方案。监控数据的存储方案包括日志服务存储和云监控存储。日志服务存储 监控数据存储在当前账号的日志服务中。开通日志服务后，当您通过企业云监控创建指标仓库时，日志服务默认...
设置告警
数据传输会通过您在云监控平台添加的联系方式发送至接收人，该接收人也需要在云监控平台添加。云监控的详情请参见 什么是云监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步项目...
实验介绍
如何可视化新建数据表。数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置...
快速体验
如何可视化新建数据表。数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置...
管理指标仓库
企业云监控通过指标仓库存储阿里云、线下IDC、其他云厂商、Prometheus监控、本地日志监控、SLS日志监控和自定义监控的监控数据，您还可以为监控数据创建监控大盘，通过监控大盘查看监控图标。创建指标仓库 本文以将监控数据存储到日志服务...
采集企业云监控日志
您可以在云监控的控制台创建指标仓库，用于存储线下IDC（Internet Data Center）、阿里云产品和其他云厂商服务的监控数据，然后为监控数据创建监控大盘，通过监控大盘查看监控图表。本文为您介绍在云监控创建指标仓库的步骤。前提条件 已...
添加及管理监控对象
您可在规则列表页面添加监控对象并执行查看、编辑、删除...后续步骤 监控对象添加后，可为该监控对象配置质量规格进行监控，详情请见 创建数据表质量规则。创建全域数据表质量规则。创建指标质量规则。创建数据源质量规则。创建实时元表规则。
添加及管理监控对象
您可在规则列表页面添加监控对象并执行查看、编辑、删除...后续步骤 监控对象添加后，可为该监控对象配置质量规格进行监控，详情请见 创建数据表质量规则。创建全域数据表质量规则。创建指标质量规则。创建数据源质量规则。创建实时元表规则。
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
CreateHybridMonitorNamespace-创建指标仓库
说明 关于监控数据的存储方案的更多信息，请参见 企业云监控的监控数据存储方案说明。m_prometheus NamespaceRegion string 否 监控数据存储的地域。cn-hangzhou 关于公共请求参数的详情，请参见 公共参数。返回参数 名称 类型 描述 示例值...
06物理表质量监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
数据质量治理
用户通过设置的数据质量规则执行面向不同计算资源的质量检查任务（包括质量检查计划和场景画布规则），在物理表监控明细以及数据质量监控报告页面查看系统整体数据质量概览及多维度细分数据的质量情况。前提条件 已根据快速入门教程完成...
- 产品推荐
- 这些文档可能帮助您