阿里云首页 数据资源平台

新建测试场景并部署运行

您可以通过新建测试场景,并在测试场景画布中编排节点工作流、配置运行参数和调度参数,来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建测试场景并部署运行。

前提条件

已创建相关的云计算资源,具体操作,请参见新建MaxCompute云计算资源~新建Presto云计算资源

背景信息

节点流程定义了一段处理逻辑,通过有向无环图 DAG(Directed Acyclic Graph)描述。节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。

操作步骤

步骤一:登录测试场景设置页面

  1. 登录数据资源平台控制台

  2. 在页面左上角,选择工作台 > 研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 测试场景

  5. 将鼠标悬停至测试场景单击进入图标。

    进入测试场景页面。

步骤二:新建测试场景

  1. 测试场景页面,单击新建场景

  2. 创建场景对话框,填写场景名称和场景code,单击确认创建场景

步骤三:(可选)添加系统节点并配置

系统节点包括:输入数据节点、数据传输节点、数据检测就绪节点、节点组和依赖节点等。请根据实际需要添加需要的系统节点,添加方式相似。

以下是以输入数据节点为例介绍的添加节点的示例操作。关于其他节点的配置,更多信息,请参见数据传输节点数据检测就绪节点节点组依赖节点

  1. 在测试场景画布页面,单击左侧系统节点区域下的输入数据节点,将输入节点拖到画布中。

    说明

    若计算节点已指定了上游物理表,则流程中可以没有输入数据节点。

    编辑节点
  2. 单击拖入的输入节点,在右侧的节点属性中,填写节点的名称。节点属性

  3. 单击运行属性页签,选择云计算资源类型和数据模型,并配置测试配置线上配置的资源、表名以及输入说明,更多信息,请参见输入数据节点

步骤四:添加计算类节点并配置

计算类节点包括:计算节点和公共节点。请根据需要添加一个或者多个计算节点或者公共节点或者二者的混用。

  • 计算节点:主要适用于某个特定场景,或针对某张表的逻辑处理,这些节点不需要复用,在场景中直接创建。

  • 公共节点:主要是用于计算逻辑的复用,在不同的场景中,通过引用公共节点并调整参数的方式,完成符合场景业务要求的计算逻辑,提升开发效率。在公共节点页面创建,场景中引用。例如:1分钟流量估计、2分钟流量估计、5分钟流量估计,其计算逻辑一样,只是运行时的参数不一样。

  1. 添加计算节点

    说明

    计算节点包含多种类型,这里以添加MaxCompute_SQL类型的计算节点为例介绍添加计算节点的示例操作。

    1. 在测试场景画布页面,将左侧需要类型的计算节点拖入到测试场景画布,更多信息,请参见计算节点配置说明配置计算节点

    2. 双击拖入的计算节点,在节点编辑页面进行配置。

      1. 在节点编辑页面右侧的节点属性页签,自定义输入节点名称和简介信息等。节点属性页面

        配置项

        说明

        节点名称

        节点的名称,支持用户自定义。

        版本说明

        输入版本的说明信息。

        简介

        节点的描述性信息,方便用户理解和查找。

      2. 在节点编辑页面,输入SQL语句,单击保存图标。sql语句

      3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定确认名称

      4. 在节点编辑页面,单击页面右侧运行配置页签,选择需要的测试计算资源和线上计算资源。

      5. 运行配置页签,手动添加节点的输入/输出参数和运行参数,或通过单击编辑页面的解析图标,自动解析节点的输入/输出参数和运行参数,参数设置的更多信息,请参见计算节点配置说明

        这里以解析为例介绍,单击编辑页面的解析图标,自动解析输入输出和运行参数。在节点编辑页面的运行配置页签,会显示已自动解析出的输入输出和运行参数。计算节点解析

      6. 在节点编辑页面,单击左上角保存图标。

      7. 单击运行图标,出现运行参数页面,确认参数类型和默认值无误后,单击确定运行参数

      8. 查看运行结果和日志,当结果显示如下所示“Current task status:SUCCESS”,则表示节点运行成功。

      9. 关闭当前计算节点编辑页面。

    3. 单击拖入的计算节点,在场景编辑页面进行配置。

      1. 在测试场景编辑页面的右侧的节点属性页签,可修改节点名称、描述和版本说明。计算节点场景属性

        说明

        如果需要复用当前计算节点的计算逻辑时,可以将该计算节点发布为公共节点,在测试场景编辑页面的右侧的节点属性页签,单击发布为公共节点

      2. 单击页面右侧运行配置页签,选择计算节点的测试和线上计算资源。

        说明

        • 测试和线上场景的计算资源不能相同。

        • 当需要修改输出数据表的云计算资源和物理表时,开启节点输出下的自定义输出开关开关按钮,修改测试和线上云计算资源的信息以及物理表。

        • 当需要修改入数据表的云计算资源和物理表时,关闭节点输入下的物理表依赖上游输出开关关闭物理表依赖开关,修改输入节点的测试和线上云计算资源的信息以及物理表。

      3. 如果需要在场景上线后定时调度该场景中离线计算节点,则需要按以下操作设置调度策略:

        1. 单击场景画布页面右侧调度配置页签。

        2. 在调度设置页面中,单击开启图标开启定时调度并配置该场景的全局调度策略。

        具体参数如下表所示:

        参数

        说明

        定时调度

        依赖本节点上一周期调度

        选中后,则本次的调度依赖本节点上一周期调度的结果。

        生成实例方式

        可根据业务情况选择T+1次日生成发布后即时生成

        • T+1次日生成:表示次日生效,即今天创建的调度任务,明天开始生成实例并运行,今天的任务实例不变,以变更之前的代码逻辑运行。

        说明

        T表示今天(Today)。

        • 发布后即时生成:表示发布的节点任务立即生效,并会更新当天内还未运行的实例。

        生效日期

        该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。

        • 其中日期的选择,支持选择当天及以后的日期。

        • 如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划

        调度周期

        支持按月、周、天、小时和分钟调度。

        具体时间

        根据选择的周期客户自定义具体开始和结束的时间。

      4. 如果业务有依赖关系时,需要设置上游依赖节点信息。

        支持通过自动解析依赖节点和在场景画布中拖入依赖节点两种方式设置依赖信息,其中拖入依赖节点的操作,更多信息,请参见步骤三:(可选)添加系统节点并配置。以下以自动解析依赖节点为例介绍。

        1. 运行配置页签的依赖节点区域,单击自动解析外部依赖节点,参数说明的更多信息,请参见计算节点配置说明单击自动解析依赖

        2. 若存在依赖节点,则解析完成后,在依赖节点区域会自动显示该节点的依赖节点相关信息,并在场景画布中自动生成对应依赖节点图标。自动解析依赖节点

  2. 添加公共节点。

    1. 将左侧公共节点区域下已新建的公共节点拖入到画布。公共节点的创建方法,具体操作,请参见添加MaxCompute_SQL类型的公共节点~添加Flink_SQL类型的公共节点

      说明

      如果公共节点较多,您可在左侧导航栏的搜索框,输入关键词,进行搜索。

      公共节点
    2. 单击拖入的公共节点,在右侧的节点属性页签,查看节点名称等信息。

    3. 单击页面右侧运行配置页签,选择公共节点的测试和线上计算资源,关于参数配置的更多信息,请参见下表。

      说明

      当需要修改输出数据表的云计算资源和物理表时,单击节点输出下的自定义输出开关开关按钮,修改测试和线上云计算资源的信息以及物理表。

      参数

      说明

      测试计算资源

      测试场景使用资源,用于在测试环境中运行。

      线上计算资源

      线上场景使用资源,用于在线上环境中运行。

      高级设置

      测试资源组

      资源组是发布任务的资源池。设置后,可查看当前公共节点所属的测试资源组和线上资源组,请至系统设置 > 资源组管理中设置。

      依赖节点

      依赖类型

      说明

      当该公共节点存在依赖节点并在公共节点画布中自动解析后,场景画布的运行配置页签,才显示依赖节点信息。

      该依赖节点的类型,分为场景节点依赖和自定义节点依赖。

      所属工作区

      该依赖节点的所属工作区。

      场景名称

      该依赖节点的所属场景的名称。

      节点名称

      该依赖节点的名称。

      依赖生成方式

      通过系统自动解析。

      节点输入

      输入code

      节点的输入参数code。

      数据结构

      云计算资源类型

      输入数据的云计算资源类型。

      输入数据结构

      输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

      • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。

      • 当选择“*”时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

      物理表依赖上游输出

      • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      • 当关闭物理表依赖上游输出开关时,不依赖上游输出,需要手动选择本节点输入参数对应的云计算资源并填写物理表名。

      云计算资源

      测试

      测试场景使用资源,用于在测试环境中运行该节点。

      线上

      线上场景使用资源,用于在线上环境中运行该节点。

      物理表名

      节点输入参数的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输入数据结构为“*”时,输入物理表名必须选择已经存在的表。

      • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当打开物理表依赖上游输出开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

      节点输出

      输出code

      节点的输出参数code。

      数据结构

      云计算资源类型

      输出数据的云计算资源类型。

      输出数据结构

      输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

      • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

      • 当选择“*”时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。

      自定义输出

      单击开关1按钮,打开自定义开关以后,您可自定义选择通不同资源下已物理化后的物理表。

      云计算资源

      测试

      测试场景使用资源,用于在测试环境中运行该节点。

      线上

      线上场景使用资源,用于在线上环境中运行该节点。

      物理表名

      节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

      • 当输出数据结构为“*”时,物理表必须选择已经存在的表。

      • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

      • 当输出数据结构为具体的模型结构且数据资源类型为MaxcomputeSQL、MaxcomputeMR、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

      运行参数

      参数变量

      算法参数的名称,用户自定义。

      参数值

      参数的值,可根据实际设置。

      值类型

      算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要在下拉列表中选择。

    4. 如果在场景上线后,需要定时调度该场景中离线计算节点,则需要按以下操作设置调度策略:

      1. 单击场景画布页面右侧调度配置页签。

      2. 在调度设置页面中,单击开启图标开启定时调度。

        参数

        说明

        定时调度

        依赖本节点上一周期调度

        选中后,则本次的调度依赖本节点上一周期调度的结果。

        生成实例方式

        可根据业务情况选择T+1次日生成发布后即时生成

        • T+1次日生成:表示次日生效,即今天创建的调度任务,明天开始生成实例并运行,今天的任务实例不变,以变更之前的代码逻辑运行。

        说明

        T表示今天(Today)。

        • 发布后即时生成:表示发布的节点任务立即生效,并会更新当天内还未运行的实例。

        生效日期

        该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。

        • 其中日期的选择,支持选择当天及以后的日期。

        • 如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划

        调度周期

        支持按月、周、天、小时和分钟调度。

        具体时间

        根据选择的周期客户自定义具体开始和结束的时间。

    5. 如果业务有依赖关系时,需要设置上游依赖节点信息。

      支持通过自动解析依赖节点和在场景画布中拖入依赖节点两种方式设置依赖信息,其中拖入依赖节点的操作,更多信息,请参见步骤三:(可选)添加系统节点并配置。以下以自动解析依赖节点为例介绍。

      1. 运行配置页签的依赖节点区域,单击自动解析外部依赖节点单击自动解析依赖

      2. 若该节点存在依赖节点,解析完成后,在依赖节点区域会自动显示依赖节点的详细信息,并在场景画布中自动生成对应依赖节点图标。自动解析依赖节点

步骤五:连接各节点

说明

请根据算法流程的数据流向连接算法流程中的各节点。

  1. 将鼠标指向上游节点下部的圆圈。

  2. 当圆圈点亮时按下鼠标左键并拖拽到下游节点上部的圆圈上。

  3. 当下游节点上部的圆圈点亮时松开鼠标。

    说明

    当画布工具栏中,单击打开连线模式时,则连接各节点时,直接单击对应节点连线即可,不需要将鼠标指向各节点的圆圈。连线模式

  4. 双击连线可查看连线详情,连线过程中保证输出code-数据类型和输入code-数据类型一致。连线

    说明

    在搭建节点流程的过程中,如果上游节点和下游节点需要连线(即上游节点的输出数据要作为下游节点的输入数据),则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致,任意结构(“*”)的除外。

步骤六:(可选)部署测试场景

  1. 单击保存图标。

  2. 单击部署图标,对测试场景进行部署,等待部署成功。

    说明

    若未部署,运行前系统会自动部署。

    运行成功
说明

如果场景运行失败,您可将鼠标移动至状态,单击后面的查看日志,通过运行日志定位失败原因。

步骤七:运行测试场景

  1. 单击运行图标。

  2. 设置业务日期对话框,选择日期,单击确定,等待运行成功。部署

说明

  • 日期只能选择T-1之前的日期。T表示今天(Today)。

  • 如果您需要查看之前日期的运行结果,可以通过补数据功能实现,具体操作,请参见新建补数据计划

  • 如果场景运行失败,您可将鼠标移动至状态,单击后面的查看日志,通过运行日志定位失败原因。

相关操作

操作

说明

删除测试场景

测试场景列表中,选择待删除的测试场景,单击删除。在弹出对话框中,单击确认

说明

如果待删除的测试场景已发布了线上场景,则您需要预先下线该线上场景,具体操作,请参见下线线上场景

注意

场景删除后不可恢复,请谨慎操作。

修改测试场景所属目录

测试场景列表中,选中需要修改所属目录的场景,单击修改所属目录,选择需要归属的目录,单击确定

说明

不支持将测试场景的所属目录修改为默认目录,只可从默认类目改成其他目录。

发布计算节点为公共节点

如果需要复用当前计算节点的计算逻辑时,可以将该计算节点发布为公共节点。操作方法如下:

  1. 在测试场景编辑页面的右侧的节点属性页签,单击发布为公共节点

  2. 发布公共节点对话框中,选择发布方式、节点code和节点名称,单击确定

  3. 在场景画布左侧的公共节点区域,可查看已经发布的计算节点。

后续步骤

测试场景运行后,需要将测试场景上线至线上场景,才能提供线上服务,具体操作,请参见上线测试场景

首页 数据资源平台 用户指南 数据开发 测试场景 新建测试场景并部署运行