DataWorks On CDP/CDH使用说明
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
产品计费
服务类型 单价（元）计费单位 购买数量 备注 大数据技术架构方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据搬站迁云方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据解决方案POC 30,000 每人日 1~20 每日8小时工作制 跨地域迁移...
OpenAPI列表
任务运维 ListSupplementDagrun 根据查询条件列出补数据工作流下的每一个业务日期对应的DagRun信息。ListSupplementInstance 列出补数据工作流下具体一个业务日期的所有节点的实例。QueryInstanceUpDownStream 查询实例的上下游，支持逻辑...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
快速入门
本文为您介绍使用数据工作站功能前需要完成的工作，以及功能的使用流程。...管理员将待协作开发数据工作站的用户录入至DMS中。具体操作，请参见 用户管理。使用流程 新建项目空间并引用表 使用Notebook开发 使用Copilot生成SQL 发布AI Agent
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
数据标准权限列表
权限点 超级管理员 数据标准管理员 标准负责人 资产对象负责人 其他全局角色 查看落标明细列表 Y Y Y Y Y 查看映射详情 Y Y Y Y Y 查看评估详情 Y Y Y Y Y 一键修改数据分类分级 Y N N Y N 标准代码（码表）权限列表 权限点 超级管理员 ...
数据标准权限列表
权限点 超级管理员 数据标准管理员 标准负责人 资产对象负责人 其他全局角色 查看落标明细列表 Y Y Y Y Y 查看映射详情 Y Y Y Y Y 查看评估详情 Y Y Y Y Y 一键修改数据分类分级 Y N N Y N 标准代码（码表）权限列表 权限点 超级管理员 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
成员管理、数据源、变更管控权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 成员管理 账号系统同步 Y Y N N N N N 查看成员列表 Y Y Y Y Y Y Y 查看成员详情 Y Y N N N N N 编辑成员信息 Y Y N N N N N 编辑角色 Y Y N N N N ...
成员管理、数据源、变更管控权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 成员管理 账号系统同步 Y Y N N N N N 查看成员列表 Y Y Y Y Y Y Y 查看成员详情 Y Y N N N N N 编辑成员信息 Y Y N N N N N 编辑角色 Y Y N N N N ...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
通知中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 消息中心 查看未读消息 Y Y Y Y Y Y Y 任务中心 查看待处理任务列表 Y Y Y Y Y Y Y 处理待处理任务 Y Y Y Y Y Y Y 查看已处理任务 Y Y Y Y Y Y Y ...
通知中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 消息中心 查看未读消息 Y Y Y Y Y Y Y 任务中心 查看待处理任务列表 Y Y Y Y Y Y Y 处理待处理任务 Y Y Y Y Y Y Y 查看已处理任务 Y Y Y Y Y Y Y ...
开通DataWorks服务
开通DataWorks服务后，在使用DataWorks的各项服务时，不同产品服务的功能模块（例如，任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用）会根据使用量和占用的资源量进行按量计费。详情请参见 ...
资产权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y 申请密钥权限 Y Y-Y 申请数据...
资产权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y 申请密钥权限 Y Y-Y 申请数据...
资产全景及目录权限列表
资产全景及目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 我负责的 全景 非超级管理员角色需超级管理员授权后可查看。查看全景 Y N N N N N N N 目录 搜索元数据 Y Y Y Y Y Y Y Y ...
资产全景及目录权限列表
资产全景及目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 我负责的 全景 非超级管理员角色需超级管理员授权后可查看。查看全景 Y N N N N N N N 目录 搜索元数据 Y Y Y Y Y Y Y Y ...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
我的资产
具备特定角色（如工作组管理员）的用户对一定范围的数据资产有管理权限（如工作组管理员对本工作组的数据资产有管理权限）。我的资产展示用户有管理权限的数据表、数据服务API等数据资产，并提供资产详情查看等功能，帮助用户清晰了解管理...
告警中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 告警事件 普通成员 若是 告警事件的责任人 可设置告警事件为免打扰。查看告警事件 Y Y N N N N Y 设置告警事件为免打扰 Y Y N N N N Y 去处理告警...
告警中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 告警事件 普通成员 若是 告警事件的责任人 可设置告警事件为免打扰。查看告警事件 Y Y N N N N Y 设置告警事件为免打扰 Y Y N N N N Y 去处理告警...
资产安全权限列表
Y Y Y Y Y Y Y 查看识别规则列表 Y Y Y Y Y Y Y 数据分类 新建数据分类 N N N Y N N N 编辑数据分类 N N N Y N N N 删除数据分类 N N N Y N N N 查看数据分类列表 Y Y Y Y Y Y Y 数据分级 新建数据分级 N N N Y N N N 编辑数据分级 N N N Y...
资产安全权限列表
Y Y Y Y Y Y Y 查看识别规则列表 Y Y Y Y Y Y Y 数据分类 新建数据分类 N N N Y N N N 编辑数据分类 N N N Y N N N 删除数据分类 N N N Y N N N 查看数据分类列表 Y Y Y Y Y Y Y 数据分级 新建数据分级 N N N Y N N N 编辑数据分级 N N N Y...
功能简介
工作组管理员对本工作组的数据资产具有管理权限。租户资产管理员对该租户下的所有工作组的数据资产具有管理权限。支持对我已授权的数据资产查看授权明细与停止授权，包括数据表和数据服务API数据资产。我可使用的 支持展示自有权限或申请...
功能简介
工作组管理员对本工作组的数据资产具有管理权限。租户资产管理员对该租户下的所有工作组的数据资产具有管理权限。支持对我已授权的数据资产查看授权明细与停止授权，包括数据表、标签和数据服务API数据资产。我可使用的 支持展示自有权限或...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
- 产品推荐
- 这些文档可能帮助您