EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
MaxCompute数据源
说明 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。您可在数据源配置页面，查看数据源使用的MaxCompute项目名称，确认数据最终读取...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
HoloStudio一键迁移至DataStudio
为给您提供一致的开发体验，HoloStudio产品能力将整合至DataStudio中，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。在指定时间内，您可参考本文手动迁移HoloStudio的已有文件至DataStudio；超过该时间，系统将自动为您完成...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
在工作空间创建数据源或注册集群
步骤二：将数据源绑定至数据开发（DataStudio）数据源创建完成后，若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作，还需将数据源绑定至当前工作空间的数据开发（DataStudio）模块。...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
DataWorks HoloStudio下线公告
为给您提供一致的开发体验，DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...
创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
用户授权与管理
使用数据建模DATABLAU功能时，在进行定义标准、数据建模、数据开发、部署运维等不同任务时，通常需不同角色的用户进行操作，对应用户需获取相应的权限。本文为您介绍制定标准、数据建模并应用部署过程中推荐的用户角色权限规划与授权操作...
HoloStudio（即将下线）
为给您提供一致的开发体验，DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
创建业务流程
您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作，例如MaxCompute引擎下的ODPS SQL节点，如果代码开发过程中需要用到资源或函数，DataWorks也支持您通过可视化的方式来创建资源节点、创建函数节点。说明 目前...
任务调试流程
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
基于模型生成ETL代码
维度表、明细表、汇总表等模型表发布后，DataWorks智能数据建模的模型开发功能支持快速生成代码框架，帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布，操作详情请参见 发布模型至引擎...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
工作空间概述
说明 在进行引擎绑定前请务必提前阅读：简单模式和标准模式的区别，您后续的数据开发与权限控制将基于该特性进行展开。操作指南：引擎的基本操作 操作必读：简单模式和标准模式的区别 成员角色规划与分配 工作空间创建完成后，您需要将RAM...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下：简单开发应用教程 简单用户画像分析...
GetFile
该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
参数节点
本文为您介绍如何创建参数节点，引导您高效使用DataWorks进行数据开发。背景信息 参数节点本质上是一种虚拟节点，不会运行数据计算任务产生数据，主要用于跨节点传参、参数管理的场景。跨节点传参 当数据开发的业务流程中，某个下游节点的...
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
互联网、电商行业离线大数据分析
方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比，成本更低。安全：原生的多租户系统，以工作空间进行隔离，所有计算任务在安全沙箱中运行。可视...
数据开发概述
双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，系统支持 规范建模 功能。Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持...
数据开发概述
双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，系统支持 规范建模 功能。Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持...
创建业务流程
背景信息 DataWorks的数据开发功能支持在业务流程中，通过可视化拖拽来完成节点间的依赖设置。您可以通过操作业务流程的方式，实现对数据的处理和相互依赖。一个工作空间下支持创建多个业务流程，详情请参见 创建业务流程。创建业务流程 ...
发布模型至引擎
模型创建成功后，您需将维度表、明细表、汇总表、应用表通过发布操作物化...后续步骤 模型发布至目标引擎后，您可进入DataWorks的数据开发页面，基于该汇总表进行相关的数据开发操作。数据开发的功能介绍，详情请参见 数据开发界面功能介绍。
DataWorks OpenAPI概述
1级 UpdateIDEEventResult 用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。2级 GetIDEEventDetail 调用GetIDEEventDetail，根据DataWorks开放消息...
- 产品推荐
- 这些文档可能帮助您