Data Lake Analytics节点

您可以在DataWorks中新建Data Lake Analytics节点,构建在线ETL数据处理流程。

背景信息

Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics,详情请参见什么是Data Lake Analytics

说明

Data Lake Analytics节点支持Serverless资源组(推荐)或旧版独享调度资源组执行任务。如需购买使用Serverless资源组,详情请参见新增和使用Serverless资源组

使用限制

支持的地域:华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国香港、日本(东京)、新加坡、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。

操作步骤

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 鼠标悬停至新建图标,单击新建节点 > 自定义 > Data Lake Analytics

    您也可以打开相应的业务流程,右键单击自定义,选择新建节点 > Data Lake Analytics

  3. 新建节点对话框中,输入节点名称,并选择路径

  4. 单击确认

  5. 编辑Data Lake Analytics节点。

    1. 选择数据源。

      选择任务要执行的目标数据源。如果下拉列表中没有需要的数据源,请单击右侧的新建数据源,在数据源管理页面新建,详情请参见配置Data Lake Analytics(DLA)数据源

    2. 编辑SQL语句。

      选择相应的数据源后,即可根据Data Lake Analytics支持的语法,编写SQL语句。通常支持DML语句,您也可以执行DDL语句。

    3. 单击工具栏中的保存图标。

    4. 单击工具栏中的运行图标,执行SQL语句。

    如果您需要修改在数据开发页面测试时使用的任务执行资源,请单击工具栏中的高级运行图标,选择相应的Serverless资源组。

    说明

    因为访问专有网络环境的数据源需要使用Serverless资源组执行任务,所以此处必须选择测试连通性成功的Serverless资源组。

  6. 单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见配置基础属性

    配置资源属性时,请选择调度资源组为已经和Data Lake Analytics网络连通的Serverless资源组,作为周期调度时使用的资源组。

  7. 保存并提交节点。

    说明

    您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。

    1. 单击工具栏中的保存图标,保存节点。

    2. 单击工具栏中的提交图标。

    3. 提交新版本对话框中,输入变更描述

    4. 单击确认

    如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的发布。具体操作请参见发布任务

  8. 任务运维,详情请参见周期任务基本运维操作