产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
发展历程
2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分的引擎，性能达到7830 QPM。获得中国国际软件博览会金奖。中国电子学会科技进步特等奖（被业界誉为...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。问题描述 Dataphin业务板块、数据域和项目之间的关系是什么？问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分，是基于业务特征划分的...
持久内存型
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
持久内存型
单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。...后续步骤 完成数据板块的主题域创建后，即可为该数据板块创建业务实体（业务对象或业务活动），详情请参见 创建并管理业务实体。
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
逻辑结构说明
说明 在Dataphin 3.3版本，维度更名为业务对象，业务过程更名为业务活动，数据域更名为主题域，业务板块更名为数据板块。各层中核心概念的详细内容请参见下表。核心概念 简要含义 数据板块 数据板块定义了数据仓库的多种命名空间，是一种...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
新零售：杭州数云信息技术有限公司
数云客户业务是天猫CRM系统提供商，客户数据库的部署模式是多租户部署，即每个实例上会部署一个或多个数云的客户的数据，因此数云使用的数据库实例数据量都比较大，较大的实例存储容量一般在2 TB~3 TB左右，约有上百个实例来满足该业务需求...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
授权与回收表权限
② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以在 操作 列下对数据表进行 授权、查看权限列表 操作。授权：可选择单个数据表进行授权，在 表授权 对话框，填写需授权的用户、权限类型及...
授权与回收表权限
② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以在 操作 列下对数据表进行 授权、查看权限列表 操作。授权：可选择单个数据表进行授权，在 表授权 对话框，填写需授权的用户、权限类型及...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
查看指标校验记录
数据板块 指标所属的业务板块。所属项目 指标所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 指标校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验...
- 产品推荐
- 这些文档可能帮助您