< 文档首页
全部产品
弹性计算
存储服务
数据库
网络
视频与CDN
域名与网站
工商财税 知识产权
应用服务
互联网中间件
移动研发平台EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
数字金融
管理与监控
云市场
API与工具
解决方案
钉钉
会员服务
更多

    离线调度说明

    更新时间：2018-05-02 14:59:45

    ★ 我的收藏
    本页目录

    背景

    本文实现的是广告CTR预测的场景。广告CTR预测是广告行业的典型应用，通过历史数据训练预测模型，对于每天的增量数据进行预测，找出广告的CTR符合标准的样本进行投放。
    整套实验使用了阿里云机器学习进行数据挖掘，通过大数据开发套件进行调度和推送。具体的业务场景是：

    • 通过历史数据在阿里云机器学习平台上进行模型训练。
    • 通过大数据开发套件对模型进行调度。
    • 每天凌晨对广告投放进行CTR预测，甄选出符合标准的广告进行推送。

    数据集介绍

    具体字段如下表。

    字段名 含义 类型 描述
    id ID string 广告的唯一标识
    age 年龄 double 广告投放人群的年龄
    sex 性别 double 广告投放人群的性别，1代表男，0代表女
    duration 时长 double 广告在界面的停留时长，以秒为单位
    place 位置 double 广告投放位置，0～4，按照投放位置从上到下的顺序排列
    ctr 广告CTR double 广告点击量除以展现量，大于0.03是1，其它是0
    dt partition string 年月日，格式为yyyyMMdd

    如下图所示，数据是通过random算法随机生成，所以本次实验不针对结果进行评估，主要介绍实验搭建以及和大数据开发套件的调度使用。数据包含20160919、20160920的历史数据，需要针对20160921的数据预测。使用的是MaxCompute的分区表。

    实验搭建

    实验流程图如下。

    实验可以大致分为四个模块，数据源导入（ad），数据预处理（归一化），模型训练（逻辑回归二分类），预测（预测）。

    1. 数据源导入

    2. 中间过程

    中间过程包括数据归一化和模型训练两个步骤。模型训练是通过历史数据训练生成的预测模型。（详细原理可以参考心脏病预测案例）

    3. 预测

    预测生成的结果表为“ad_result-1”，数据如下图所示。

    • prediction_result：每个广告id是否被点击。1表示被点击，0表示不被点击。
    • prediction_score：对应被点击概率。

    模块调度

    1. 进入大数据开发套件工作空间

    进入控制台首页，单击DataWorks，进入大数据开发工作空间。
    image

    大数据开发套件与机器学习平台共用一套项目，选择需要调度的实验所在的项目，单击进入数据开发。
    image

    2. 新建节点调度任务

    单击新建并选择新建任务。

    在新建任务的配置中，任务类型选择节点任务，类型选择机器学习。

    3. 配置调度任务

    建立了节点任务之后，选择需要调度的机器学习实验，并在右边的配置栏选择需要调度的时间，本实验选择每日的凌晨0点进行训练和推送信息。
    image

    单击提交。提交的作业从第二天开始生效。
    image

    4. 查询任务日志

    提交调度任务之后，单击前往运维查看日志。
    image

    上一篇：新闻分类案例
    下一篇：协同过滤做商品推荐
    相关文档
    相关产品
    • 机器学习PAI
      阿里云人工智能平台，提供一站式的机器学习解决方案
    • MaxCompute
      大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。 诚邀您参加阿里云MaxCompute问卷调研，问卷填写大概需要花费您5-10分钟。我们将在认真填写的用户中随机抽取100名，每名用户赠送100元MaxCompute无门槛代金券。参与地址：https://survey.aliyun.com/apps/zhiliao/boGZtw_74
    • DataWorks
      新一代智慧大数据研发平台DataWorks（数据工场，原大数据开发套件）是从工作室、车间到工具集都齐备的一站式大数据工场，助力您快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作。DataWorks + MaxCompute 在2018年获得著名分析评测机构Forrester的Cloud Data Warehouse云数据仓库世界排名第二的成绩，是唯一入选的中国产品。 DataWorks V2.0 在DataWorks V1.0的基础上新增业务流程、组件的概念，完善数据研发体系，支持双项目开发，隔离开发和生产，保证数据研发规范，减少错误代码。