全部产品

定时调度

更新时间:2017-09-09 10:08:11   分享:   

定时调度

推荐引擎没有内置的定时调度模块,离线算法定时调度可以通过下面两种方式实现:

  • 使用大数据开发套件(DataWorks)调度节点启动 (推荐)
  • 在自建ECS通过算法任务API调用

第二种方式请参照API文档开发脚本,下面介绍第一种方式的操作流程。如果对DataWorks不熟悉,可以先参考DataWorks的文档。

使用DataWorks定时调度(新版)

  1. 新建推荐引擎类型的节点

    a) 新建节点任务

    1.a

b) 新建工作流任务

1.b

  1. 选择任务类型

    一般算法任务可以选择数据预处理+算法计算,需要计算效果报表可以选择效果计算

    2

  2. 选择业务、场景

    只有数据预处理+算法计算算法计算需要制定场景,其他任务类型会忽略这个参数,其中可以选择全部场景来启动所有上线的场景算法计算任务。

    3

  3. 选择数据日期

    没有特别情况可以填默认值 ${bdp.system.bizdate}

  4. 保存,修改调度配置,提交。

使用DataWorks定时调度(旧版)

对于旧版推荐引擎,DataWorks没有组件支持,可以新建shell节点,使用我们的命令行工具来启动。

命令行工具下载 (只支持旧版推荐引擎任务)

  1. 上传命令行工具jar包7

  2. 新建Shell类型节点

    5

  3. 编辑Shell节点

    可以按照这个模板编辑

    1. ##@resource_reference{"rp_dplus.jar"}
    2. ds=$1
    3. EXPORT_ACCESS_ID=$2
    4. EXPORT_ACCESS_KEY=$3
    5. biz=""
    6. org_code=""
    7. scn=""
    8. echo "ds:"$ds
    9. echo "accessid:"$EXPORT_ACCESS_ID
    10. java -jar ./rp_dplus.jar -id $EXPORT_ACCESS_ID -key $EXPORT_ACCESS_KEY -ds $ds -biz $biz -org $org_code -method all
    • ##@resource_reference{“rp_dplus.jar”} 表示资源引用,jar包名和上传填写的一致
    • 自定义参数配置填写 $bizdate 调用接口的accessKeyId 调用接口的accessKeySecret

      7

    • 命令行工具参数说明
    1. USAGE:
    2. java -jar ./rp_dplus.jar
    3. -org <数加org_dplus_code>
    4. -id <accessKeyId>
    5. -key <accessKeySecret>
    6. -method <启动任务类型 tasks(离线算法) | etl(数据预处理) | index(效果计算) | all(预处理+离线算法) >
    7. -ds <bizdate>
    8. -biz <业务代码>
    9. -scn <场景代码>[option]
    10. --host <数加host>[option]
  4. 保存,修改调度配置,提交。
本文导读目录
本文导读目录
以上内容是否对您有帮助?