您可以在Dataworks中新建Data Lake Analytics节点,构建在线ETL数据处理流程。

说明
  • Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics,详情请参见什么是Data Lake Analytics
  • 建议Data Lake Analytics节点在独享资源组运行。如果在默认资源组运行,会出现网络不通的情况。
  • 目前Data Lake Analytics节点仅支持选择生产环境的数据源。
  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建,单击自定义 > Data Lake Analytics

    您也可以打开相应的业务流程,右键单击自定义,选择新建 > Data Lake Analytics

  3. 新建节点对话框中,输入节点名称,并选择目标文件夹,单击提交
    说明 节点名称的长度不能超过128个字符。
  4. 编辑Data Lake Analytics节点。
    代码编辑页面分为选择数据源和编辑SQL代码两部分:
    1. 选择数据源。

      选择任务要执行的目标数据源。如果下拉框中没有需要的数据源,请单击右侧的新建数据源,前往新建数据源页面进行新建,详情请参见数据源配置

    2. 编辑SQL语句。

      选择相应的数据源后,即可根据Data Lake Analytics支持的语法,编写SQL语句。通常支持DML语句,您也可以执行DDL语句。

    3. 保存SQL语句。

      代码编辑完成后,单击工具栏中的保存图标,将其保存至服务器。

    4. 执行SQL语句。

      单击运行图标,即可立即执行编辑的SQL语句。

  5. 节点调度配置。

    单击节点编辑区域右侧的调度配置,即可进入节点调度配置页面,详情请参见调度配置模块。

  6. 提交节点任务。

    完成调度配置后,单击工具栏中的保存图标,提交(提交并解锁)到开发环境。

  7. 发布节点任务。

    具体操作请参见发布管理

  8. 在生产环境测试。

    具体操作请参见周期任务