您可以在Dataworks中新建Data Lake Analytics节点,构建在线ETL数据处理流程。

说明
  • 建议Data Lake Analytics节点在独享资源组运行,如果在默认资源组运行,会出现网络不通的情况。
  • 目前Data Lake Analytics节点仅支持选择生产环境的数据源。
  1. 进入DataStudio(数据开发)页面,选择新建 > 数据开发 > Data Lake Analytics
    Data Lake Analytics
    说明 您也可以找到相应的业务流程,右键单击数据开发,选择新建数据开发节点 > Data Lake Analytics
    Data Lake Analytics
  2. 新建节点对话框中,填写节点名称,选择目标文件夹(用于节点代码分类管理,可以不选),单击提交
    新建节点
  3. 编辑Data Lake Analytics节点。

    代码编辑页面分为选择数据源和编辑SQL代码两部分。

    1. 选择数据源。
      选择任务要执行的目标数据源。如果下拉选项中没有需要的数据源,单击右侧的新建数据源,前往新建数据源页面进行新建,详情请参见数据源配置
      选择数据源
    2. 编辑SQL语句。
      选择相应的数据源后,即可根据Data Lake Analytics支持的语法,编写SQL语句。通常支持DML语句,您也可以执行DDL语句。
      编辑SQL语句
    3. 保存并执行SQL语句。

      代码编辑完成后,单击保存按钮,将其保存至服务器。然后单击运行按钮,即可立即执行编辑的SQL语句。

  4. 节点调度配置。

    单击节点任务编辑在区域右侧的调度配置,即可进入节点调度配置页面,详情请参见调度配置模块。

  5. 提交节点任务。

    完成调度配置后,单击左上角的保存,提交(提交并解锁)到开发环境。

  6. 发布节点任务。

    具体操作请参见发布管理

  7. 在生产环境测试。

    具体操作请参见周期任务