阿里云首页 数据资源平台

添加MaxCompute_SQL类型的节点任务并运行后上线

节点任务主要适用于计算节点相对独立,整个流程由单个节点组成的这类简单数据处理场景。其中MaxCompute_SQL节点任务,运行于MaxCompute类型的云计算资源之上,通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何添加MaxCompute_SQL类型的节点任务并运行后上线。

前提条件

背景信息

MaxCompute_SQL节点是离线节点,运行于MaxCompute类型的云计算资源之上,可通过输入SQL语句处理MaxCompute类型的数据源。

操作步骤

步骤一:登录节点任务设置页面

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  5. 在左侧导航栏,选择数据开发 > 节点任务

步骤二:新建节点任务

  1. 在左侧导航栏,将鼠标悬停至节点任务单击进入图标。

  2. 节点任务页面,单击添加节点

  3. 添加节点对话框,选择MaxCompute_SQL节点类型,单击确定

  4. 在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    配置项

    说明

    节点标识

    节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

    节点名称

    节点的名称,支持用户自定义。

    简介

    节点的描述性信息,方便用户理解和查找。

  5. 在节点编辑页面,单击保存图标。

  6. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

步骤三:输入算法的SQL语句

  1. 在节点编辑页面,输入SQL语句。SQL语句

  2. 单击保存图标。

步骤四:设置参数并运行

  1. 单击页面右侧运行配置页签,选择需要的测试计算资源和线上计算资源。

  2. 手动添加节点的输入/输出参数和运行参数,或通过单击编辑页面的解析图标,自动解析节点任务的输入/输出参数和运行参数。

    这里以解析为例介绍,单击编辑页面的解析图标,解析成功后,在节点编辑页面的运行配置页签,会显示已自动解析出的输入输出和运行参数。节点任务解析

    参数

    说明

    测试计算资源

    测试环境使用资源,用于在测试环境中运行。

    线上计算资源

    线上环境使用资源,用于在线上环境中运行。

    高级设置

    测试资源组

    资源组是发布任务的资源池。设置后,可查看当前公共节点所属的测试资源组和线上资源组,请至系统设置 > 资源组管理中设置。

    节点输入

    输入code

    节点的输入参数code。

    数据结构

    云计算资源类型

    输入表数据的云计算资源类型。

    输入数据结构

    输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

    • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。

    • 当选择“*”时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

    物理表依赖上游输出

    • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    • 当关闭物理表依赖上游输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。

    云计算资源

    测试

    测试环境使用资源,用于在测试环境中运行该节点。

    线上

    线上环境使用资源,用于在线上环境中运行该节点。

    物理表名

    节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

    • 当输入数据结构为“*”时,输入物理表名必须选择已经存在的物理表。

    • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

    • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    节点输出

    输出code

    节点的输出参数code。

    数据结构

    云计算资源类型

    输出表数据的云计算资源类型。

    输出数据结构

    输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

    • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

    • 当选择“*”时,代表数据结构为任意结构,此时物理表必须选择已经存在的表。

    自定义输出

    单击开关1按钮,打开自定义开关以后,您可自定义选择资源和资源下的物理表。

    云计算资源

    测试

    测试环境使用资源,用于在测试环境中运行该节点。

    线上

    线上环境使用资源,用于在线上环境中运行该节点。

    物理表名

    节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

    • 当输出数据结构为“*”时,物理表必须选择资源库中已经存在的物理表。

    • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

    • 当输出数据结构为具体的模型结构且数据资源类型为MaxcomputeSQL、MaxcomputeMR、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

    运行参数

    参数变量

    算法参数的名称,用户自定义。

    参数值

    参数的值,用户根据实际填写。

    值类型

    参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要,在下拉列表中选择。

  3. 在节点编辑页面,单击左上角保存图标。

  4. 单击运行图标,出现运行参数页面,确认参数类型和默认值无误后,单击确定节点任务运行

  5. 查看运行结果和日志,当日志列结果显示success,则表示节点任务运行成功。

步骤五:设置调度信息以及依赖节点信息

说明

定时调度只适用于离线计算节点,调度设置和依赖设置在测试环境中设置,但是只在线上场景生效。

  1. 如果离线计算节点需要被周期调度时,单击页面右侧调度配置页签,单击定时调度的开关图标。

  2. 根据下表参数配置调度参数。

    参数

    说明

    示例

    依赖本节点上一周期调度

    • 选中该选项,表示调度结果依赖上一周期的调度结果。

    • 取消选中表示不依赖上一周期的调度结果。

    生成实例方式

    • T+1次日生成:表示今天创建的任务,明天才会生成对应的任务实例。

    • 发布后即时生成:表示发布线上环境后即时生成任务实例。

    发布后即时生成

    生效日期

    调度的有效时间段,支持自定义。

    2021-10-28~2021-11-05

    调度周期

    支持月、周、天、小时和分钟。

    具体时间

    自定义。

    18时30分

  3. 如果业务有依赖关系时,需要设置上游依赖节点信息。

    1. 选择上游依赖节点区域,依赖所属工作区的下拉列表,选择需要的依赖工作组。

      说明

      支持用户选择租户下的所有工作组。此处的租户:包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。

    2. 单击上游依赖节点下拉列表,选择相应的依赖节点。

    3. 单击添加上游依赖节点

    添加完成后,在上游依赖节点区域框,查看已经添加的依赖节点。依赖节点

步骤六:上线节点任务

  1. 在节点画布编辑页面,单击左上角的上线图标,上线节点任务到线上环境。

    说明

    也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。

  2. 节点任务页面,单击目标节点任务线上环境操作列的查看。可查看已经生成的线上环境节点任务。查看线上节点任务

相关操作

操作

说明

编辑节点任务

节点任务页面,单击目标节点任务测试环境操作列的编辑,修改节点的各配置项。

复制节点任务

节点任务页面,单击目标节点任务测试环境操作列的复制,快速创建新的节点,新节点的标识必须更改。

删除节点任务

节点任务页面,选中一个或者多个未上线的目标节点任务,单击页面左下方的删除

说明

只能删除未上线的节点任务,若节点任务已经上线,则需要下线后才能删除。

查看节点日志信息

节点任务页面,单击目标节点任务线上环境操作列的日志,查看节点任务部署的日志详情。

修改所属目录

节点任务页面,选中一个或者多个目标节点任务,单击页面左下方的修改所属目录

说明

至少存在一个及以上的目录(不包含默认目录)。

下线节点任务

节点任务页面,单击目标节点任务线上环境操作列的下线

首页 数据资源平台 用户指南 数据开发 节点任务 添加MaxCompute_SQL类型的节点任务并运行后上线