DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。
背景信息
DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎的计算任务,并进行周期调度。使用DataWorks连接MaxCompute有如下方式:
数据分析的SQL查询功能:
实现编辑MaxCompute SQL、查询数据、分析数据(电子表格)、在线分享数据及下载数据等功能。SQL查询功能详情请参见SQL查询。
数据开发的MaxCompute任务节点:
DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。MaxCompute任务节点包括:ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。
使用场景
数据分析使用场景
数据分析的SQL查询功能使用场景如下:
您可以通过数据分析的SQL查询功能查询数据,并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地,减少数据的流动,更好地保障数据安全。
MaxCompute任务节点使用场景
如果您希望周期性运行MaxCompute作业,可使用DataWorks的DataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。
使用说明
创建DataWorks工作空间。
详情请参见创建并管理工作空间。
为DataWorks绑定MaxCompute引擎。
详情请参见绑定MaxCompute引擎。
说明简单模式工作空间支持为DataWorks工作空间绑定已有MaxCompute项目;标准模式工作空间不支持绑定已有MaxCompute项目。
(可选)为DataWorks添加MaxCompute数据源。
DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源,若要操作非引擎数据源,请确保已创建数据源,详情请参见创建与管理数据源。
通过DataWorks使用MaxCompute。