在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。
前提条件
数据开发(DataStudio)中已创建业务流程。
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见创建业务流程。
已创建阿里云CDH集群,并注册CDH集群至DataWorks。
创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至DataWorks工作空间,操作详情请参见注册CDH集群至DataWorks。
(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员。
已购买独享调度资源组并完成资源组配置,包括绑定工作空间、网络配置等,详情请参见新增和使用独享调度资源组。
使用限制
不支持公共调度资源组运行该类型任务。
步骤一:创建CDH MR节点
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
右键单击某个业务流程,选择
。在新建节点对话窗中,配置节点的引擎实例、路径、名称等信息。
单击确认 ,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。
步骤二:创建并引用CDH JAR资源
DataWorks支持您从本地先上传资源至DataStudio,再引用资源。具体操作如下:
创建CDH JAR资源。
在对应业务流程中,右键单击
,选择 ,在新建资源对话框中点击上传,选择需要上传的文件。引用CDH JAR资源。
打开创建的CDH MR节点,停留在编辑页面。
在
中,找到待引用的资源(示例为onaliyun_mr_wordcount-1.0-SNAPSHOT.jar
),右键单击资源名称,选择引用资源。引用资源后,若CDH节点的代码编辑页面出现
##@resource_reference{""}
格式的语句,表明已成功引用代码资源。此时,需执行下述命令运行作用。命令涉及的资源包、Bucket名称、路径信息等为本文示例内容,使用时,需替换为实际使用的信息。##@resource_reference{"onaliyun_mr_wordcount-1.0-SNAPSHOT.jar"} onaliyun_mr_wordcount-1.0-SNAPSHOT.jar cn.apache.hadoop.onaliyun.examples.EmrWordCount oss://onaliyun-bucket-2/cdh/datas/wordcount02/inputs oss://onaliyun-bucket-2/cdh/datas/wordcount02/outputs
说明CDH MR节点编辑代码时不支持注释语句。
步骤三:配置任务调度
如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:
配置任务调度的基本信息,详情请参见配置基础属性。
配置时间调度周期、重跑属性和上下游依赖关系,详情请参见时间属性配置说明及配置同周期调度依赖。
说明您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
配置资源属性,详情请参见配置资源属性。访问公网或VPC网络时,请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见配置资源组与网络连通。
步骤四:调试代码任务
(可选)选择运行资源组、赋值自定义参数取值。
在工具栏单击图标,在参数对话框选择已调试运行需要使用的独享调度资源组。
如果您的任务代码中有使用调度参数变量,可在此处为变量赋值,用于调试。参数赋值逻辑详情请参见运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别。
保存并运行SQL语句。
在工具栏,单击图标,保存编写的SQL语句,单击图标,运行创建的SQL任务。
(可选)冒烟测试。
如果您希望在开发环境进行冒烟测试,可在执行节点提交,或节点提交后执行,冒烟测试,操作详情请参见执行冒烟测试。