什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据标准
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”...
数据标准概述
数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。业务方面：通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的...
数据标准概述
数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。业务方面：通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
数据口径标准、数据准确性难以保障，传统政务服务需要老百姓多次递交多份纸质材料提供给不同服务部门，服务效率低。解决方案：数据同步：通过数据同步功能，将不同业务系统数据汇聚到统一的存储计算引擎，实现数据的初步融合。数据标准：...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
数据标准化
模块介绍 数据标准化模块的作用是对接入的数据进行标准化处理，可以通过原始数据得出对应的标准地址、结构化信息、POi信息、POi类型、判断是否为问题地址等信息。新建任务 进入 数据标准化 页面后，点击“新建任务”，输入任务名称，选择...
数据标准权限列表
数据标准权限列表 权限点 超级管理员 数据标准管理员 标准集 负责人 标准集成员 标准负责人 其他全局角色 标准 标准集负责人、标准集成员 可在标准集下新建数据标准，标准负责人 仅可编辑、提交上线、修订、下线或删除自己负责的标准；...
数据标准权限列表
数据标准权限列表 权限点 超级管理员 数据标准管理员 标准集 负责人 标准集成员 标准负责人 其他全局角色 标准 标准集负责人、标准集成员 可在标准集下新建数据标准，标准负责人 仅可编辑、提交上线、修订、下线或删除自己负责的标准；...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
云计算资源类型
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
云计算资源类型
云计算资源是 企业数据智能平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
按指标关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。指标 ...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
按应用关联
根据应用关联对应资源信息，选中目标应用后，系统自动选中关联此应用的上线API、有产出关系的场景、场景下包含的所有场景节点以及场景节点包含的所有逻辑表以及数据标准、数据源和全局配置。说明 工作组若有创建数据标准、数据源和全局变量...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
按单节点关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 单节点 对应已经上线的单节点任务。逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
查看资源使用情况-半托管
数据标准：统计所有已创建的数据标准，不区分状态。码表：统计所有已创建的码表，最多创建1000个码表，每个码表最多添加10000个码值，不区分状态。词根：统计所有已创建的词根，最多创建10000个词根，不区分状态。标准集：为您展示当前租户...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
操作指南
功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理概述 资产安全概述 数据服务概述 Dataphin半托管 数仓...
查看资源使用情况-全托管
数据标准：统计所有已创建的数据标准，不区分状态。码表：统计所有已创建的码表，最多创建100个码表，每个码表最多添加10000个码值，不区分状态。词根：统计所有已创建的词根，最多创建200个词根，不区分状态。标准集：为您展示当前租户下...
发布包总览概述
您可以在发布包总览页面根据功能板块（规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全），对不同类型、不同状态的待发布对象类型进行发布及管理操作。规划：您可以对规划对象执行发布、查看版本详情（数据源对象类型...
发布包总览概述
您可以在发布包总览页面根据功能板块（规划、数据架构、研发、标签架构、标签、数据标准、数据质量、数据安全），对不同类型、不同状态的待发布对象类型进行发布及管理操作。规划：您可以对规划对象执行发布、查看版本详情（数据源对象类型...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
- 产品推荐
- 这些文档可能帮助您