什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。问题描述 Dataphin业务板块、数据域和项目之间的关系是什么？问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分，是基于业务特征划分的...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
逻辑结构说明
说明 在Dataphin 3.3版本，维度更名为业务对象，业务过程更名为业务活动，数据域更名为主题域，业务板块更名为数据板块。各层中核心概念的详细内容请参见下表。核心概念 简要含义 数据板块 数据板块定义了数据仓库的多种命名空间，是一种...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
域名管理
移除关联实例 警告 移除实例的同时会解除实例与域名的关联，对该域名的ICP备案无影响，但可能会造成该域名阿里云免备案失效。在待移除全球加速实例的 操作 列单击 移除。您还可以选中待移除全球加速实例，单击 批量移除。在 确认移除选中...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
授权与回收表权限
② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以在 操作 列下对数据表进行 授权、查看权限列表 操作。授权：可选择单个数据表进行授权，在 表授权 对话框，填写需授权的用户、权限类型及...
- 产品推荐
- 这些文档可能帮助您