通过DataWorks使用PyODPS
PyODPS为MaxCompute的Python版SDK，支持在DataWorks中开发运行PyODPS任务。本文为您介绍在DataWorks上使用PyODPS的使用限制、主要流程和部分简单应用示例。使用限制 使用方式限制 如果您发现有 Got killed 报错，即表明内存使用超限，进程...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
开通MaxCompute和DataWorks
当前默认开通按量付费（免费）的DataWorks基础版，关于DataWorks各版本介绍详情，请参见 DataWorks各版本详解。华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）和西南1（成都）区域，开通 按量付费标准版 的...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
解决DataWorks 10 MB文件限制问题最佳实践
本文为您介绍如何解决在DataWorks上执行MapReduce作业时，大于10 MB的JAR和资源文件不能上传至DataWorks的问题，方便您使用调度功能定期执行MapReduce作业。前提条件 请下载并安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端...
在DataWorks运维中心查看作业运行信息
DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等...
通过DataWorks实现MaxCompute跨项目迁移
操作步骤 创建迁移目标项目 登录DataWorks控制台，创建工作空间并绑定MaxCompute引擎。具体操作请参见 创建工作空间 和 绑定MaxCompute引擎。说明 由于原始项目 WorkShop2023 为 标准模式，因此本文中DataWorks工作空间模式也选择 标准模式...
通过DataWorks数据集成迁移日志数据至MaxCompute
splitPk":"","column":["key1","key2","key3"]} },"writer":{"plugin":"odps","parameter":{"datasource":"odps_first",/数据源名，需要和您添加的数据源名一致。table":"ok",/目标表名。truncate":true,"partition":"",/分区信息。...
DataWorks V3.0
DataWorks V3.0发布 发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增...
DataWorks V2.0
DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对DataWorks V2.0各功能模块的特性进行深入学习：DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 ...
开通DataWorks服务
您必须购买 任意版本 DataWorks产品和 按量付费 商品，才可以开通并使用DataWorks服务，本文为您介绍如何开通DataWorks。背景信息 为帮助您快速体验大数据平台的核心场景，每个地域首次开通DataWorks时，平台默认自动在相应地域为您开通...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
DataWorks节点合集
DataWorks集成的引擎 DataWorks对引擎能力的封装 MaxCompute 开发ODPS SQL任务 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 引用SQL组件 E-MapReduce EMR Presto节点 EMR Hive节点 EMR MR...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
DataWorks准备工作流程
产品简介：为您介绍什么是DataWorks、DataWorks的购买建议、以及DataWorks基本架构和发展之路。产品计费：为您介绍DataWorks的计费方式。购买指引：为您推荐不同需求背景下的DataWorks购买方案。账号说明 DataWorks的账号登录体系与阿里云...
DataWorks按量计费概述
开通购买DataWorks软件版本后，在使用DataWorks的各项服务时，不同产品服务的功能模块会根据使用量和占用的资源量进行计费。例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API...
DataWorks资源组概述
背景信息 开通DataWorks时，DataWorks默认为您提供按量付费的公共资源组，同时，支持您购买包年包月独享资源组，或者升级为DataWorks标准版、专业版、企业版，将您的IDC机器作为DataWorks任务运行的相关资源组，详情请参见 资源组介绍。...
DataWorks模块使用说明
本文将为您概要介绍DataWorks主要子模块的功能及基本使用场景。使用流程与主要子模块 DataWorks为您提供从端到端的一站式数据开发治理平台，数据处理流程主要包括以下几个阶段。各个阶段DataWorks的主要子模块如下。数据集成 子模块：数据...
DataWorks各版本详解
支持 支持 支持 支持 独享数据集成资源组 支持 支持 支持 支持 DataStudio ODPS SQL 支持 支持 支持 支持 全部DataWorks部署地域 代码搜索 不支持 支持 支持 支持 多人协作 支持 支持 支持 支持 控制节点：do-while、for-each、归并节点、...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
DataWorks HoloStudio下线公告
尊敬的DataWorks用户：为给您提供一致的开发体验，DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据...
DataWorks On MaxCompute使用说明
MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可结合DataWorks的...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
DataWorks产品购买方式升级
尊敬的DataWorks用户：为了帮助您更高效地管理DataWorks产品，DataWorks公共云基础版产品将于2023年10月18日开始逐步进行升级优化。说明 温馨提醒：该升级并不会对您正在运行的DataWorks调度任务造成影响。升级前 阿里云账号下仅需保有...
DataWorks on EMR权限管控说明
在DataWorks运行EMR任务时，您需要在EMR侧及DataWorks侧进行相关的权限认证，以保证任务可以顺利执行。本文为您介绍DataWorks on EMR权限管控说明。背景信息 在DataWorks中，可通过DataWorks工作空间成员与EMR集群账号映射的方式获取EMR...
子账号使用DataWorks
登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。单击指定工作空间 操作 列的 管理，进入工作空间管理页面。在 空间成员 页签下单击右上角的 添加成员。在 添加成员 对话框，单击 刷新，同步当前阿里云账号下的所有子账号至 待...
注册EMR集群至DataWorks
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、周期性调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍如何在DataWorks注册同账号或跨账号的EMR集群...
DataWorks权限体系功能概述
DataWorks提供了完善的权限管控机制，支持在产品级与模块级对权限进行管控，其中，模块级权限按照管控对象又分为DataWorks控制台和DataWorks功能模块权限管控，您可以通过RAM Policy权限体系管理产品级及DataWorks控制台的权限；...
迁移EMR项目至DataWorks
背景信息 DataWorks为您提供了以下两种方式，将EMR集群下的工作流（节点和调度配置）、手动任务、资源、数据源迁移至DataWorks工作空间中：方式一：通过DataWorks迁移助手导出EMR项目并导入至DataWorks 方式二：通过工具打包EMR项目，再...
DataWorks服务关联角色
{"Version":"1","Statement":[{"Action":"dataworks:*","Resource":"*","Effect":"Allow"},{"Action":"ram:CreateServiceLinkedRole","Resource":"*","Effect":"Allow","Condition":{"StringEquals":{"ram:ServiceName":["dataworks....
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
- 产品推荐
- 这些文档可能帮助您