创建CDH Impala节点

在DataWorks中,CDH Impala节点可以编写并执行Impala SQL脚本。与CDH Hive相比,CDH Impala节点为您提供了更快速的查询性能。本文为您介绍如何创建与使用CDH Impala节点。

使用限制

支持Serverless资源组(推荐)或旧版独享调度资源组运行该类型任务。

步骤一:创建CDH Impala节点

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 右键单击某个业务流程,选择新建节点 > CDH > CDH Impala

    说明

    鼠标悬停至顶部新增按钮,根据界面提示选择创建CDH节点。

  3. 新建节点弹窗中,配置节点的名称,完成后单击确认,完成节点创建,后续您可在创建的节点中进行对应任务的开发与配置操作。

步骤二:开发Impala任务

您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。

(可选)选择CDH集群实例

如果您的工作空间注册了多个CDH集群,您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群,则无需选择。image.png

开发SQL代码:简单示例

在SQL编辑区域输入任务代码,示例如下。

show tables;

select * from userinfo ;

开发SQL代码:使用调度参数

DataWorks提供调度参数,可实现调度场景下代码动态入参,您可在节点中通过${变量名}的方式定义代码中的变量,并在调度配置>参数处,为该变量赋值。调度参数支持的格式,详情请参见调度参数支持的格式

select '${var}'; --可以结合调度参数使用。

步骤三:配置任务调度

如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:

  • 配置任务调度的基本信息,详情请参见配置基础属性

  • 配置时间调度周期、重跑属性和上下游依赖关系,详情请参见时间属性配置说明配置同周期调度依赖

    说明

    您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。

  • 配置资源属性,详情请参见配置资源属性。访问公网或VPC网络时,请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见网络连通方案

步骤四:调试代码任务

  1. (可选)选择运行资源组、赋值自定义参数取值。

  2. 保存并运行SQL语句。

    在工具栏,单击保存图标,保存编写的SQL语句,单击运行图标,运行创建的SQL任务。

  3. (可选)冒烟测试。

    如果您希望在开发环境进行冒烟测试,可在执行节点提交,或节点提交后执行,冒烟测试,操作详情请参见执行冒烟测试

后续步骤

  1. 提交并发布节点任务。

    1. 单击工具栏中的保存图标,保存节点。

    2. 单击工具栏中的提交图标,提交节点任务。

    3. 提交新版本对话框中,输入变更描述

    4. 单击确定

    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务

  2. 查看周期调度任务。

    1. 单击编辑界面右上角的运维,进入生产环境运维中心。

    2. 查看运行的周期调度任务,详情请参见查看并管理周期任务

    如果您需要查看更多周期调度任务详情,可单击顶部菜单栏的运维中心,详情请参见运维中心概述