什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
云数据库Redis版产品选型必读
选择大版本 可根据业务需求选择大版本（各大版本均长期维护），推荐您使用较新的大版本以支持更多的特性，更多信息请参见 Redis大版本新特性与兼容性。大版本的选择存在一定的约束，具体如下：实例及其创建方法 支持的实例类型 支持的引擎...
Tair选型指南
创建 云原生内存数据库Tair 实例前，您需要结合产品性能、价格、业务场景、工作负载等因素，做出性价比与稳定性最优的决策。本文围绕以上因素，着重介绍实例类型、引擎版本、架构、存储介质，为您的选型提供相关参考。免费试用 阿里云免费...
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。问题描述 Dataphin业务板块、数据域和项目之间的关系是什么？问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分，是基于业务特征划分的...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
离线同步数据质量排查
一般符合业务预期，可以解释数据不一致原因即可。读端数据一致性排查 数据集成的Reader插件用来连接具体的源头数据存储，抽取出待同步的数据并投递给同步写端。每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
逻辑结构说明
说明 在Dataphin 3.3版本，维度更名为业务对象，业务过程更名为业务活动，数据域更名为主题域，业务板块更名为数据板块。各层中核心概念的详细内容请参见下表。核心概念 简要含义 数据板块 数据板块定义了数据仓库的多种命名空间，是一种...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
持久内存型
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
持久内存型
单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
什么是云数据库Redis版
云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
- 产品推荐
- 这些文档可能帮助您