全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
推荐引擎

定时调度

更新时间:2017-12-22 13:45:42

定时调度

推荐引擎没有内置的定时调度模块,离线算法定时调度可以通过下面两种方式实现:

  • 使用大数据开发套件(DataWorks)调度节点启动 (推荐)
  • 在自建ECS通过算法任务API调用

第二种方式请参照API文档开发脚本,下面介绍第一种方式的操作流程。如果对DataWorks不熟悉,可以先参考DataWorks的文档。

使用DataWorks推荐引擎节点调度

  1. 新建推荐引擎类型的节点

    a) 新建节点任务

    1.a

b) 新建工作流任务

1.b

  1. 选择任务类型

    一般算法任务可以选择数据预处理+算法计算,需要计算效果报表可以选择效果计算

    2

  2. 选择业务、场景

    只有数据预处理+算法计算算法计算需要制定场景,其他任务类型会忽略这个参数,其中可以选择全部场景来启动所有上线的场景算法计算任务。

    3

  3. 选择数据日期

    没有特别情况可以填默认值 ${bdp.system.bizdate}

  4. 保存,修改调度配置,提交。

【注】需要在对应区域的DataWorks内使用以上特性,即:如您购买的是华东2的推荐引擎,则只能在对应的华东2的DataWorks内新建配置上述定时调度节点。目前推荐引擎只在华东2区域部署

使用DataWorks Shell节点定时调度

对于旧版推荐引擎和未开通推荐引擎的区域,DataWorks没有相关组件支持,可以新建shell节点,使用我们的命令行工具来启动。

旧版命令行工具下载 (旧版推荐引擎任务)

新版命令行工具下载 (新版推荐引擎任务)

  1. 上传命令行工具jar包7

  2. 新建Shell类型节点

    5

  3. 编辑Shell节点

    可以按照这个模板编辑

    1. ##@resource_reference{"rp_dplus.jar"}
    2. ds=$1
    3. EXPORT_ACCESS_ID=$2
    4. EXPORT_ACCESS_KEY=$3
    5. biz=""
    6. org_code=""
    7. scn=""
    8. echo "ds:"$ds
    9. echo "accessid:"$EXPORT_ACCESS_ID
    10. java -jar ./rp_dplus.jar -id $EXPORT_ACCESS_ID -key $EXPORT_ACCESS_KEY -ds $ds -biz $biz -org $org_code -method all
    • ##@resource_reference{“rp_dplus.jar”} 表示资源引用,jar包名和上传填写的一致
    • 自定义参数配置填写 $bizdate 调用接口的accessKeyId 调用接口的accessKeySecret

      7

    • 命令行工具参数说明
    1. USAGE:
    2. java -jar ./rp_dplus.jar
    3. -org <数加org_dplus_code>
    4. -id <accessKeyId>
    5. -key <accessKeySecret>
    6. -method <启动任务类型 tasks(离线算法) | etl(数据预处理) | index(效果计算) | all(预处理+离线算法) >
    7. -ds <bizdate>
    8. -biz <业务代码>
    9. -scn <场景代码>[option]
    10. --host <数加host>[option]
  4. 保存,修改调度配置,提交。
【注】实际调度的时候可能会遇到网络不通的情况,需要在DataWorks配置推荐引擎公网HOST的白名单,参考文档:https://help.aliyun.com/document_detail/47736.html 配置地址白名单
本文导读目录