操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
数据服务入门
步骤三：新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延...
通用开发流程
开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程 步骤二：新建数据表 DataWorks支持使用...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
创建业务流程
创建周期业务流程 数据开发基于业务流程下对应的开发组件进行具体开发操作，所以您创建节点前需要先新建业务流程。创建业务流程前，您可以参考下文的 设计业务流程 章节，结合自身的业务情况，先规划设计好符合自身业务诉求的业务流程。...
DataWorks On CDP/CDH使用说明
开始使用：开放平台 DataWorks支持开放能力，帮助您快速实现各类应用系统对接DataWorks，并进行数据流程管控、数据治理和运维，及时响应各应用系统对接DataWorks的业务状态变化。费用说明 一、DataWorks相关费用 以下费用会体现在DataWorks...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
创建并管理业务流程
数据服务基于业务流程实现以业务为单元的API开发，并基于业务流程对API、函数和服务编排进行组织管理。因此在生成API前，您需要创建业务流程。本文为您介绍如何创建及管理业务流程。前提条件 在创建业务流程之前，您需要登录 API网关控制台...
数据质量管理流程
数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
实现开发生产等多套环境隔离
背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求，如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
CreateDataServiceGroup
调用CreateDataServiceGroup创建数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
GetDataServiceGroup
调用GetDataServiceGroup查询数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
ListDataServiceGroups
调用ListDataServiceGroups查询数据服务业务流程列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
数仓构建流程
本文为您介绍构建MaxCompute数据仓库的流程。构建MaxCompute数据仓库的整体流程如下。基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由...
ListBusiness
UseType String NORMAL 业务流程所属的功能模块，包括NORMAL（数据开发）和MANUAL_BIZ（手动业务流程）。PageNumber Integer 1 当前数据页的页码。PageSize Integer 10 当前数据页的数据条数。TotalCount Integer 13 满足查询条件的数据总...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
CreateBusiness
调用CreateBusiness，创建数据开发（DataStudio）的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
计算引擎审批策略
背景信息 您可以从 MaxCompute项目 维度或 数据保护伞分级分类 维度定义审批流程适用的数据范围，详情可参见 选择配置范围。使用限制 仅空间管理员、被授权 AliyunDataWorksFullAccess 的子账号有权限进行审批策略的操作。企业版的...
参考：内核参考
本文为您介绍各个模块的使用流程及参数配置，包括IndexBuilder、IndexConverter、IndexMeasure及IndexSearcher模块。IndexBuilder IndexBuilder为索引构建模块，其基本调用流程如下：初始化Builder。数据训练。构建索引。dump索引。清理...
创建手动任务
进入手动业务流程功能界面 您需要前往 DataStudio（数据开发）>手动业务流程 页面，通过手动业务流程创建手动触发执行的任务。进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在...
使用流程参数
注意事项 配置并保存流程参数后，每次打开节点（即当前业务流程下支持使用流程参数的节点）时，都会加载业务流程中最新的流程参数至节点的参数配置列表，节点将回到编辑状态，需提交发布节点后，新的流程参数配置才会在调度场景下生效。...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
- 产品推荐
- 这些文档可能帮助您