全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

作业管理

更新时间:2017-06-07 13:26:11

“数据运维”提供了流计算作业的管理控制台,包括对作业启停操作进行了简易封装。流计算作业状态分为以下几类状态:

  • 停止(未启动)

    当前作业未运行,可能是已经被停止,或者新作业从来未启动过,均视作广义的”停止”状态。停止作业使用灰色表示,如下图:

    停止作业

  • 运行

    当前作业正处于运行状态。注意,流计算作业一旦启动,除非用户显示终止该作业,否则流计算作业一直处于运行状态。即使底层系统报错,流计算调度系统同样会尝试进行Failover工作。运行作业使用绿色表示,如下图:

    运行作业

    注: 流计算是长期运行的作业,不存在所谓的”Fail”状态。即使底层出现Fail状况(例如连接外部RDS出现异常),分布式系统将尝试不停重启流计算Fail的节点,从作业运行状态层面,此时作业仍然是运行态。

    对于如何发现底层错误,请参看《错误排查》, 如何诊断流计算作业异常情况下对于业务的影响,请参看《告警管理》

  • 暂停

    当前作业被暂停,暂停意味着流计算作业仅仅是暂停运行,如果恢复后仍然可以从暂停前的状态继续计算。例如,双十一大屏作业,在读取DataHub时间到凌晨2两点整被用户暂停。随后进行恢复操作,流计算仍然从两点开始读取DataHub数据,且之前计算的截止到两点交易成交总额仍然可以继续使用,两点后新成交数据可以直接累加在之前的交易总和上。暂停作业使用橙色表示,如下图:

    暂停作业

    和”停止”不太一样的是,作业一旦停止,所有计算状态丢失。仍然以上述双十一大屏为例,作业停止后再启动,之前计算的成交总额全部丢失,需要重新计算。

    特别注意的是: 作业从”运行”到”停止”状态,需要先执行暂停操作,随后再执行停止操作。不支持从”运行”直接到”停止”的状态转换。


附: 作业状态图

流计算定义的作业状态转换图如下, 特别注意的是: 作业从”运行”到”停止”状态,需要先执行暂停操作,随后再执行停止操作。不支持从”运行”直接到”停止”的状态转换。

作业状态图

本文导读目录