本文介绍如何使用Alink调度作业。

前提条件

  • 已新建Data Science集群,详情请参见创建集群
  • 已创建项目,详情请参见项目管理
  • 已配置Alink,详情请参见PAI-Alink
  • 本地安装了PuTTY和文件传输工具(SSH Secure File Transfer Client)。

获取任务脚本

  1. 登录阿里云E-MapReduce控制台并进入Alink产品首页,详情请参见PAI-Alink
  2. 在Alink产品首页,单击对应模板下方的从模板创建
    本示例以评分卡功能为例。
  3. 新建示例实验对话框中,输入实验名,单击确定
  4. 单击下面的部署 > 生成部署脚本
    部署脚本对话框中,展示了详细的脚本信息。
    说明 生成的脚本即为该实验的可执行脚本。
  5. 拷贝脚本信息至本地,保存为script.py文件。
    script

部署脚本配置

  1. 新建配置文件config.txt
    配置内容如下。
    userId=default
    alinkServerEndpoint=http://127.0.0.1:9301
    hadoopHome=/usr/lib/hadoop-current
    hadoopUserName=hadoop
    token=ZSHTIeEkwrtZJJsN1ZZmCJJmr5jaj1wO
  2. 使用文件传输工具,上传config.txtscript.py至Data Science集群Master节点的根目录下。
  3. 登录Master节点,详情请参见使用SSH连接主节点
  4. 执行如下命令,查看文件。
    check file

配置调度任务

  1. 登录阿里云E-MapReduce控制台
  2. 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组
  3. 单击上方的数据开发页签。
  4. 新建任务执行集群。
    1. 单击新建项目所在行的作业编辑
    2. 单击上方的项目管理页签。
    3. 在左侧导航栏,单击集群设置
    4. 单击右上角的添加集群
    5. 添加集群对话框,从选择集群列表中,选择已创建的Data Science集群,单击确定
  5. 新建作业。
    1. 单击上方的数据开发页签。
    2. 新建Shell类型作业。
      新建作业详情请参见Shell作业配置
    3. 输入作业内容
      本示例作业内容如下。
      sudo alinkcmd run -c /root/config.txt -f /root/script.py
  6. 设置作业。
    1. 单击右上角的作业设置
    2. 作业设置对话框,单击高级设置
    3. 模式区域,从提交节点列表中,选择在Header/Gateway节点提交
  7. 运行作业。
    1. 单击上方的保存
    2. 单击上方的运行
    3. 运行作业对话框中,设置执行集群为已创建的Data Science集群,单击集群