启动作业

更新时间:2017-06-07 13:26:11

在指定的pipeline下启动Job,Job的配置信息由-f指定的本地JSON文件或者由-j指定的JSON命令行参数指定,同样为避免JSON和Shell转义字符冲突,CDP不推荐-j的使用。命令格式为:

cdp job -start [-p <pipeline>] -f <file> [-v <variable>] [-async]
 variable 是为配置文件做运行时变量替换使用,格式同样是json,例如:
cdp job -start -f config-file-path -v '{"bizdate": "20140601"}'

​ 用户提交的config-file-path,内容如下。特别关注下odps写入端,partition实际上引用了上述的变量{"bizdate": “20140601"},Console自动会将上述的变量替换为20140601。具体的JSON示例为:

{
    "type": "job",
    "traceId": "base cdp job",
    "version": "1.0",
    "configuration": {
        "reader": {
            "plugin": "mysql",
            "parameter": {}
        },
        "writer": {
            "plugin": "odps",
            "parameter": {
                "partition": "pt=${bizdate}"
            }
        }
    }
}

特别需要用户注意的是:

  • CDP Job配置中,为保证Job配置的兼容性,用户必须指定当前Job的版本号为1.0,即"version": "1.0"
  • CDP Job目前只进行数据同步,不进行元数据同步。用户使用前必须在目的数据源创建数据表,否则将CDPJob会报错,错误通知用户目的表不存在。