作业概述

更新时间:2017-06-07 13:26:11

Job描述一个离线同步作业,具体信息有:

字段 类型 注释
id bigint Job主键
traceId string 该Job启动外部提交用以追踪的的信息, CDP不负责解释该信息
context string 该Job启动的任务配置上文(json)
submitUser string 触发该Job的云账号
submitTime datetime 该Job提交的时间
startTime datetime 该Job实际启动的时间, 存在资源竞争,作业运行时间比submitTime晚
endUser string 发起kill该Job的云账号,如没有kill,留空
endTime datetime 该Job结束的时间(包括finish、fail、kill)
status string job当前状态,json格式
pipeline Pipeline Job运行的Pipeline空间
需要注意的是,狭义上的Job状态信息(CDP约定称之为state) 是Job的当前运行阶段,定义如下:
  • 0代号SUCCESS,指代该Job已经结束,并且处于运行成功
  • 1 代号SUBMIT,指代CDP才接受到该请求,所有提交的Job初始化均为submit状态
  • 2 代号WAIT,指代CDP已经进入Job运行就绪队列,等待运行。该状态可能由于底层同步运行资源不够,可能会持续较长一段时间。
  • 3 代号RUN,指代CDP已经启动该Job,该Job已经运行起来。
  • 4 代号FAIL,指代该Job启动后运行失败。
  • 5 代号KILL,指代该Job启动后被人为kill,CDP会记录发起kill命令的操作人。
  • 255 代号UNKNOWN,指代系统出现异常情况,Job进入了unknown状态。

    广义的Job状态信息(CDP约定称之为status)不仅包括运行阶段,目前包括如下状态信息:

{
   "state": 4,
   "stage": 0.3,
   "totalRecords": 10000,
   "totalBytes": 100000,
   "speedRecords": 200,
   "speedBytes": 1000,
   "errorRecords": 20,
   "errorBytes": 200, 
   "errorMessage": "Wrong password!"
}