通过操作流程图及说明,您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。
节点模式操作流程
节点模式主要适用于计算节点相对独立,整个流程由单个节点组成的这类简单数据处理场景。
新建开发节点流程图
流程说明
操作 | 说明 | |
新建开发节点 | 根据待处理的数据类型,选择对应的节点类型,新建开发节点处理该类数据。具体操作,请参见步骤一:选择节点类型并配置基本属性。 | |
写SQL语句 | 通过写算法语句或者引用自定义函数处理数据。具体操作,请参见方式一:输入算法语句。 | |
上传资源文件 | 通过上传脚本来处理数据。具体操作,请参见方式二:上传节点资源文件并输入对应脚本。 | |
设置运行配置参数 | 通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理,实现处理多种类型的数据,以及查看同一租户内不同工作组中的任务依赖信息,并支持根据需要设置告警上报信息。具体操作,请参见步骤三:设置运行配置参数。 | |
适用于离线类节点 | 运行开发节点 | 运行节点,验证处理逻辑和数据的准确性。具体操作,请参见步骤四:运行开发节点。 |
设置调度信息 | 当离线计算节点需要按照周期输出数据时,支持通过设置节点的调度信息,实现节点中各数据被周期计算。具体操作,请参见步骤五:设置调度信息。 | |
上线开发节点 | 当开发节点运行成功后,将开发节点上线至生产节点后提供生产环境的服务。具体操作,请参见步骤六:上线开发节点。 | |
查看日志信息以及运维信息 | 当运行失败或者上线失败,通过查看日志信息或者上线的运维信息定位失败原因,解决失败的问题。具体操作,请参见查看生产节点详情信息或查看生产节点任务运维信息。 |
场景模式操作流程
场景任务适用于算法相对比较复杂,算法流程由多个节点,包括系统节点和多个批量、流式等类型的计算类节点,在一个场景内的混合编排组成的节点工作流。
流程图
流程说明
操作 | 说明 |
新建场景 | 通过新建开发场景,并在开发场景画布中编排节点工作流、配置运行参数和调度参数,来验证数据处理流程的正确性。具体操作,请参见步骤一:新建开发场景。 |
编排场景流程 | 通过在开发场景画布中,添加系统节点和计算类节点并配置参数,然后按照业务流向连接,实现流程的编排。具体操作,请参见新建开发场景并部署运行。
|
部署/运行开发场景 | 将编排好的流程部署到对应的云计算资源上,然后运行验证流程的正确性。具体操作,请参见步骤五:部署开发场景和步骤六:运行开发场景。 |
查看运维信息 | 当部署运行失败时,可以查看运维信息,定位失败原因,并根据失败原因去修复问题。具体操作,请参见查看开发场景运维信息或者查看生产场景运维信息。 |
设置离线节点调度信息 | 开发场景运行成功后,可以设置离线节点的调度信息为生产场景调度使用。具体操作,请参见设置离线节点的调度信息。 |
上线开发场景 | 通过将相应的开发场景进行上线操作,发布成生产场景。具体操作,请参见上线开发场景。 |
部署/运行生产场景 | 生产场景部署运行以后提供在线服务。具体操作,请参见部署并运行生产场景。 |