全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

作业状态

更新时间:2017-11-23 18:23:29

作业状态展示了整个JOB的实时运行的情况和瞬时值,用户可以通过整个作业的状态来分析、判断作业的状态是否健康?是否达到了用户的预期。

如图:

33

Task状态

从Task状态分为创建、运行、失败、完成、调度、取消中、已取消,一共是7种状态。从每个状态来判断这个作业是否运行正常。

作业瞬时值

名称 作用描述
计算耗时 表示整个JOB的计算性能
输入TPS 表示的是每秒从源端读到的Block数,对于日志服务而言,可以将多条数据打包到一个LogGroup读取,Block数反映的是从源端每秒读取LogGroup数量。
输入RPS 表示每秒读取数据源表的RPS数,单位是条/秒
输出RPS 表示每秒写入数据结果的的RPS数,单位是条/秒
使用CPU 表示单个JOB现在的CPU的使用水位
申请CPU 表示单个JOB一共申请了多少的CPU的数量
使用MEM 表示单个JOB现在的内存的使用水位
申请MEM 表示单个JOB一共申请了多少的内存的数量
启动时间 表示该JOB的启动的时间
运行时长 表示该JOB的启动后运行的时间

运行拓扑图

运行拓扑图是描述的是Stream Compute底层计算逻辑的执行图,而每个组件代表的是不同的TASK,每个数据流从一个或多个数据源开始流向一个或多个的数据的结果表中结束。数据流类似于任意有向无环图(DAG)。为了更高效地分布式执行,Stream Compute底层会尽可能地将operator的subtask链接(chain)在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化:它能减少线程之间的切换,减少消息的序列化/反序列化,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量。

operator代表的是每个计算逻辑的算子,而task代表是多个operator的集合。

视图模式

为了方便用户更好的理解,我们把底层计算逻辑抽象成为视图。 如图所示:

01

我们可以看到每个Task的详细的信息,在在鼠标移动到Task的时候会提示详情的展示。

名称 信息描述
ID 表示在运行拓扑图的编码
PARALLEL 表示的并发量
CPU 表示单个并发的CPU
MEM 表示单个并发的内存
TPS 表示每秒读取上游数据的BLOCK数
LATENCY 表示Task节点的计算耗时
DELAY 表示Task节点的业务延时
IN_Q 表示Task节点的输入队列的百分比
OUT_Q 表示Task节点的输出队列的百分比

点击Task节点,可以进入详情页面。可以查看Task的里线程的列表。

22

为了更好的帮助用户,我们还提供了每个Task的曲线指标图。点击Task节点进入曲线图。

Task曲线图

列表模式

流计算不光是提供视图模式同样也提供每个Task的列表模式。

如图:

task列表图

名称 信息描述
ID 表示在运行拓扑图的编码
Name 表示每个Task的详情信息
Status 表示每个Task的运行的状态
IN_Queue 表示Task节点的输入队列,单位是百分比
OUT_Queue 表示Task节点的输出队列,单位是百分比
Latency 表示Task节点的计算耗时
RecvCnt 表示Task节点接收到的数据量
SendCnt 表示Task节点的发送的数据量
TPS 表示每秒读取上游的信息量
Delay 表示Task节点的业务延时
Task 表示每个Task节点的并发的运行状态
StartTime 表示Task节点的启动时间
Durations 表示Task节点的运行时间
本文导读目录