通过DMS连接StarRocks实例
您只需在DMS控制台录入StarRocks实例的相关信息，即可轻松实现通过图形化的Web界面对StarRocks实例的高效管控与深度运维，极大提升数据管理体验及操作效率。本文为您介绍如何通过DMS连接StarRocks实例。背景信息 DMS是由阿里云提供的数据库...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案...相关工具链接 DataWorks数据质量管理工具，请参见 数据质量概述。DataWorks智能监控工具，请参见 数据质量概述。
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
管理问题数据
本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据...
发展历程
2021年 IDC发布《IDC MarketScape：中国政务大数据管理平台市场厂商评估2021》报告，阿里云位居行业领导者位置，产品能力居中国第一。以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1云数据仓库卓越表现者象限，成为入选...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的...对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
进入数据质量概览（新版）
需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，及时处理质量问题提升数据质量。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大屏管理
大屏是数据管理DMS提供的两种可视化应用类型之一，提供自由布局和自定义样式能力，通过可视化组件和一系列内置辅助图形来打造视觉呈现丰富的可视化大屏。大屏的定位与仪表盘不一样，仪表盘倾向于快速打造可视化报表，而大屏通常被广泛用于...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
功能简介
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...
功能简介
通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
创建GreenPlum数据源
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...
创建GreenPlum数据源
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...
工作空间概述
进入工作空间管理页面 方法一：登录DataV控制台，移动鼠标至控制台左上角的工作空间名称处，单击工作空间下拉框，选择 管理，即可进入工作空间管理页面。方法二：登录可视化应用中心，单击页面左上角的 管理工作空间，即可进入工作空间管理...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
数据质量：全流程的质量监控
同时，数据质量提供历史校验结果的管理，以便您对数据质量进行分析和定级。详情请参见 数据质量。数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的...
我的资产
我的资产展示用户有管理权限的数据表、数据服务API等数据资产，并提供资产详情查看等功能，帮助用户清晰了解管理数据资产和已授权的数据资产情况。我可使用的 支持展示自有权限或申请授权成功的数据表、数据服务API资产，并提供资产详情...
新建账号
用户角色 该用户角色为全局角色，包括系统管理员、数据源管理员、安全管理员、质量管理员、跨租户发布使用人、数据标准管理员和标签业务员。添加的成员需要授予全局角色，则 此处选择相应的角色，单个用户支持配置多个角色，详细说明如下：...
元数据采集
在数据地图中开启元数据采集后，系统将一次性全量采集存量的元数据，同时每天采集增量的元数据，并汇集至数据地图，方便您进行数据总览、分类分组管理数据表、查看数据血缘关系等操作。说明 如果系统默认配置的采集计划不适用，支持您修改...
添加Dataphin成员
用户角色 该用户角色为全局角色，包括系统管理员、数据源管理员、安全管理员、质量管理员、跨租户发布使用人、数据标准管理员和标签业务员。添加的成员需要授予全局角色，则 此处选择相应的角色，单个用户支持配置多个角色，详细说明如下：...
管理中心功能概览
在DataWorks的 管理中心，用户可以按照 工作空间维度 进行操作，包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序，以及管理工作空间成员的权限和角色；此外，用户还可以在 全局维度 进行...
- 产品推荐
- 这些文档可能帮助您