DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。
背景信息
DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎的计算任务,并进行周期调度。使用DataWorks连接MaxCompute有如下方式:
数据分析的SQL查询功能:
实现编辑MaxCompute SQL、查询数据、分析数据(电子表格)、在线分享数据及下载数据等功能。SQL查询功能详情请参见SQL查询。
数据开发的MaxCompute任务节点:
DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数以及相关逻辑处理节点开发更多复杂的任务。MaxCompute任务节点包括:ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。
使用场景
数据分析使用场景
数据分析的SQL查询功能使用场景如下:
您可以通过数据分析的SQL查询功能查询数据,并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地,减少数据的流动,更好地保障数据安全。
MaxCompute任务节点使用场景
如果您希望周期性运行MaxCompute作业,可使用DataWorks的DataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。
使用说明
绑定MaxCompute计算资源或创建MaxCompute数据源。
您可根据创建DataWorks工作空间时是否参加了新版数据开发Data Studio公测,执行后续操作。
您可以在工作空间列表页,找到目标工作空间,单击操作列的快速进入,区分是否参加了新版数据开发公测:
未参加新版数据开发公测
参加新建数据开发公测
单击操作列的快速进入,选择数据开发,进入数据开发页面。
未参加新版数据开发公测时,数据开发界面如下:
DataStudio(数据开发)的更多信息,请参见数据开发(DataStudio)(旧版)。
单击操作列的快速进入,选择数据开发(新版),进入数据开发页面。
参加新版数据开发公测时,数据开发界面如下:
新版数据开发Data Studio的更多信息,请参见数据开发(Data Studio)(新版)。
若参加了新版数据开发Data Studio公测,请绑定MaxCompute计算资源。具体操作请参见绑定计算资源(参加新版数据开发公测)。
若未参加新版数据开发Data Studio公测,请创建MaxCompute数据源,并将数据源绑定至数据开发模块。具体操作请参见创建数据源或注册集群(未参加新版数据开发公测)。
若仅创建了MaxCompute数据源,但未将数据源绑定至数据开发(DataStudio),则仅能执行数据同步操作,无法基于MaxCompute进行数据开发、任务调度、数据分析等操作。
通过DataWorks使用MaxCompute。
- 本页导读 (1)
- 背景信息
- 使用场景
- 数据分析使用场景
- MaxCompute任务节点使用场景
- 使用说明