阿里云首页 数据资源平台

添加AnalyticDB_PostgreSQL类型的节点任务并运行后上线

AnalyticDB_PostgreSQL类型的节点任务运行在AnalyticDB PostgreSQL云计算资源之上,通过输入SQL语句,并在节点编辑画布中配置运行参数和调度参数来处理数据,支持处理AnalyticDB_PostgreSQL和MaxCompute类型的数据。本文介绍如何添加AnalyticDB_PostgreSQL类型的节点任务并运行后上线。

前提条件

操作步骤

步骤一:登录节点任务设置页面

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  5. 在左侧导航栏,选择数据开发 > 节点任务

步骤二:新建节点任务

  1. 在左侧导航栏,将鼠标悬停至节点任务单击进入图标。

  2. 节点任务页面,单击添加节点

  3. 添加节点对话框,选择AnalyticDB_PostgreSQL节点类型,单击确定

  4. 在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    配置项

    说明

    节点标识

    节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

    节点名称

    节点的名称,支持用户自定义。

    简介

    节点的描述性信息,方便用户理解和查找。

  5. 在节点编辑页面,单击保存图标。

  6. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

步骤三:输入算法的SQL语句

  1. 在节点编辑页面,输入SQL语句。

  2. 单击保存图标。

步骤四:设置参数并运行

  1. 单击页面右侧运行属性页签,选择需要的测试计算资源和线上计算资源。

  2. 手动添加节点的输入/输出参数和运行参数,或通过单击编辑页面的解析图标,自动解析节点任务的输入/输出参数和运行参数。

    这里以解析为例介绍,单击编辑页面的解析图标,解析成功后,在节点编辑页面的运行配置页签,会显示已自动解析出的输入输出和运行参数。

    参数

    说明

    测试计算资源

    测试环境使用资源,用于在测试环境中运行。

    线上计算资源

    线上环境使用资源,用于在线上环境中运行。

    高级设置

    测试资源组

    资源组是发布任务的资源池。设置后,可查看当前公共节点所属的测试资源组和线上资源组,请至系统设置 > 资源组管理中设置。

    节点输入

    输入code

    节点的输入参数code。

    数据结构

    云计算资源类型

    输入表数据的云计算资源类型。

    输入数据结构

    输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

    • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。

    • 当选择“*”时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

    物理表依赖上游输出

    • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    • 当关闭物理表依赖上游输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。

    云计算资源

    测试

    测试环境使用资源,用于在测试环境中运行该节点。

    线上

    线上环境使用资源,用于在线上环境中运行该节点。

    物理表名

    节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

    • 当输入数据结构为“*”时,输入物理表名必须选择已经存在的物理表。

    • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

    • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

    节点输出

    输出code

    节点的输出参数code。

    数据结构

    云计算资源类型

    输出表数据的云计算资源类型。

    输出数据结构

    输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

    • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

    • 当选择“*”时,代表数据结构为任意结构,此时物理表必须选择已经存在的表。

    自定义输出

    单击开关1按钮,打开自定义开关以后,您可自定义选择资源和资源下的物理表。

    云计算资源

    测试

    测试环境使用资源,用于在测试环境中运行该节点。

    线上

    线上环境使用资源,用于在线上环境中运行该节点。

    物理表名

    节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

    • 当输出数据结构为“*”时,物理表必须选择资源库中已经存在的物理表。

    • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

    • 当输出数据结构为具体的模型结构且数据资源类型为MaxcomputeSQL、MaxcomputeMR、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

    运行参数

    参数变量

    算法参数的名称,用户自定义。

    参数值

    参数的值,用户根据实际填写。

    值类型

    参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要,在下拉列表中选择。

  3. 在节点编辑页面,单击左上角保存图标。

  4. 单击运行图标,出现运行参数页面,确认参数类型和默认值无误后,单击确定

  5. 查看运行结果和日志,当日志列结果显示success,则表示节点任务运行成功。

步骤五:设置调度信息以及依赖节点

说明

定时调度和依赖设置在测试环境中设置,但是只在线上场景生效。

  1. 如果离线计算节点需要被周期调度时,单击页面右侧调度配置页签,单击定时调度的开关图标。

  2. 根据下表参数配置调度参数。

    参数

    说明

    示例

    依赖本节点上一周期调度

    选中该选项,表示调度结果依赖上一周期的调度结果。

    取消选中表示不依赖上一周期的调度结果。

    生成实例方式

    • T+1次日生成:表示今天创建的任务,明天才会生成对应的任务实例。

    • 发布后即时生成:表示发布线上环境后即时生成任务实例。

    发布后即时生成

    生效日期

    调度的有效时间段,支持自定义。

    2021-10-28~2021-11-05

    调度周期

    支持月、周、天、小时和分钟。

    具体时间

    自定义。

    18时30分

  3. 如果业务有依赖关系时,需要设置上游依赖节点信息。

    1. 选择上游依赖节点区域,依赖所属工作区的下拉列表,选择需要的依赖工作组。

      说明

      支持用户选择租户下的所有工作组。此处的租户:包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。

    2. 单击上游依赖节点下拉列表,选择相应的依赖节点。

    3. 单击添加上游依赖节点

    添加完成后,在上游依赖节点区域框,查看已经添加的依赖节点。

步骤六:上线节点任务

  1. 在节点画布编辑页面,单击左上角的上线图标,上线节点任务到线上环境。

    说明

    也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。

  2. 节点任务页面,单击目标节点任务线上环境操作列的查看。可查看已经生成的线上环境节点任务。

相关操作

操作

说明

编辑节点任务

节点任务页面,单击目标节点任务测试环境操作列的编辑,修改节点的各配置项。

复制节点任务

节点任务页面,单击目标节点任务测试环境操作列的复制,快速创建新的节点,新节点的标识必须更改。

删除节点任务

节点任务页面,选中一个或者多个未上线的目标节点任务,单击页面左下方的删除

说明

只能删除未上线的节点任务,若节点任务已经上线,则需要下线后才能删除。

查看节点日志信息

节点任务页面,单击目标节点任务线上环境操作列的日志,查看节点任务部署的日志详情。

修改所属目录

节点任务页面,选中一个或者多个目标节点任务,单击页面左下方的修改所属目录

说明

至少存在一个及以上的目录(不包含默认目录)。

下线节点任务

节点任务页面,单击目标节点任务线上环境操作列的下线

首页 数据资源平台 用户指南 数据开发 节点任务 添加AnalyticDB_PostgreSQL类型的节点任务并运行后上线