全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
流计算

作业状态

更新时间:2018-06-20 11:58:25

作业状态展示了整个JOB的实时运行的情况和瞬时值,用户可以通过整个作业的状态来分析、判断作业的状态是否健康?是否达到了用户的预期。

如图:1

健康分

为了方便用户快速定位作业性能问题,流计算定义了健康分检查机制。

  • 作业健康分< 60分就代表当前节点有数据堆积、处理数据的性能不够!需要使用自动调优或者是手动调优来解决!(用户可以根据自己的业务需求来进行调优!)

Task状态

从Task状态分为创建、运行、失败、完成、调度、取消中、已取消,一共是7种状态。从每个状态来判断这个作业是否运行正常。

作业瞬时值

名称 作用描述
计算耗时 表示整个JOB的计算性能
输入TPS 表示的是每秒从源端读到的Block数,对于日志服务而言,可以将多条数据打包到一个LogGroup读取,Block数反映的是从源端每秒读取LogGroup数量。
输入RPS 表示每秒读取数据源表的RPS数,单位是条/秒
输出RPS 表示每秒写入数据结果的的RPS数,单位是条/秒
使用CPU 表示单个JOB现在的CPU的使用水位
启动时间 表示该JOB的启动的时间
运行时长 表示该JOB的启动后运行的时间

运行拓扑图

运行拓扑图是描述的是Stream Compute底层计算逻辑的执行图,而每个组件代表的是不同的TASK,每个数据流从一个或多个数据源开始流向一个或多个的数据的结果表中结束。数据流类似于任意有向无环图(DAG)。为了更高效地分布式执行,Stream Compute底层会尽可能地将operator的subtask链接(chain)在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化:它能减少线程之间的切换,减少消息的序列化/反序列化,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量。

operator代表的是每个计算逻辑的算子,而task代表是多个operator的集合。

视图模式

为了方便用户更好的理解,我们把底层计算逻辑抽象成为视图。 如图所示:

13

我们可以看到每个Task的详细的信息,在在鼠标移动到Task的时候会提示详情的展示。

名称 信息描述
ID 表示在运行拓扑图的编码
PARALLEL 表示的并发量
TPS 表示每秒读取上游数据的BLOCK数
LATENCY 表示Task节点的计算耗时
DELAY 表示Task节点的业务延时
IN_Q 表示Task节点的输入队列的百分比
OUT_Q 表示Task节点的输出队列的百分比

点击Task节点,可以进入详情页面。可以查看Task的里线程的列表。

1324

为了更好的帮助用户,我们还提供了每个Task的曲线指标图。点击Task节点进入曲线图。

234

列表模式

流计算不光是提供视图模式同样也提供每个Task的列表模式。

如图:

156

名称 信息描述
ID 表示在运行拓扑图的编码
Name 表示每个Task的详情信息
Status 表示每个Task的运行的状态
InQ max 表示Task节点的输入队列,单位是百分比
OutQ max 表示Task节点的输出队列,单位是百分比
RecvCnt sum 表示Task节点接收到的数据量
SendCnt sum 表示Task节点的发送的数据量
TPS sum 表示每秒读取上游的信息量
Delay max 表示Task节点的业务延时
StartTime 表示Task节点的启动时间
Durations(s) 表示Task节点的运行时间
Task 表示每个Task节点的并发的运行状态
本文导读目录