全部产品
阿里云办公

作业状态

更新时间:2018-10-17 14:07:40

作业状态展示了整个Job的实时运行的情况和瞬时值。您可以通过整个作业的状态来分析、判断作业的状态是否健康。是否达到了您的预期。

如图:1

健康分

为了方便您快速定位作业性能问题,实时计算定义了健康分检查机制。

  • 作业健康分小于60分就代表当前节点有数据堆积,处理数据的性能不够。需要使用自动调优或者是手动调优来解决。(您可以根据自己的业务需求来进行调优。)

Task状态

Task状态分为创建、运行、失败、完成、调度、取消中、已取消,一共是7种状态。从每个状态来判断这个作业是否运行正常。

作业瞬时值

名称 作用描述
计算耗时 表示整个Job的计算性能
输入TPS 表示的是每秒从源端读到的Block数。对于日志服务而言,可以将多条数据打包到一个LogGroup读取。Block数反映的是从源端每秒读取LogGroup数量。
输入RPS 表示每秒读取数据源表的RPS数,单位是条/秒。
输出RPS 表示每秒写入数据结果的的RPS数,单位是条/秒。
使用CPU 表示单个Job现在的CPU的使用水位。
启动时间 表示该Job的启动的时间。
运行时长 表示该Job的启动后运行的时间。

运行拓扑图

运行拓扑图是描述的是Stream Compute底层计算逻辑的执行图,而每个组件代表的是不同的Task,每个数据流从一个或多个数据源开始,流向一个或多个的数据的结果表中结束。数据流类似于任意有向无环图(DAG)。
为了更高效地分布式执行,Stream Compute底层会尽可能地将operator的subtask链接(chain)在一起形成task。每个task在一个线程中执行。将operators链接成task能减少线程之间的切换,减少消息的序列化/反序列化,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量。
operator代表的是每个计算逻辑的算子,而task代表是多个operator的集合。

视图模式

为了方便用户更好的理解,我们把底层计算逻辑抽象成为如下视图。

13

Task的详细的信息如下。你也可以将鼠标移动到Task显示详情的信息。

名称 信息描述
ID 表示在运行拓扑图的编码。
PARALLEL 表示的并发量。
TPS 表示每秒读取上游数据的BLOCK数。
LATENCY 表示Task节点的计算耗时。
DELAY 表示Task节点的业务延时。
IN_Q 表示Task节点的输入队列的百分比。
OUT_Q 表示Task节点的输出队列的百分比。

点击Task节点,可以进入详情页面查看Task的里线程的列表。

1324

为了更好的帮助用户,我们还提供了每个Task的曲线指标图。点击Task节点进入曲线图。

234

列表模式

实时计算不仅提供视图模式,同样也提供每个Task的列表模式。

如图:

156

名称 信息描述
ID 表示在运行拓扑图的编码。
Name 表示每个Task的详情信息。
Status 表示每个Task的运行的状态。
InQ max 表示Task节点的输入队列,单位是百分比。
OutQ max 表示Task节点的输出队列,单位是百分比。
RecvCnt sum 表示Task节点接收到的数据量。
SendCnt sum 表示Task节点的发送的数据量。
TPS sum 表示每秒读取上游的信息量。
Delay max 表示Task节点的业务延时。
StartTime 表示Task节点的启动时间。
Durations(s) 表示Task节点的运行时间。
Task 表示每个Task节点的并发的运行状态。