全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
日志服务

采集-多渠道数据

更新时间:2017-06-19 14:29:24

日志服务loghub 功能提供数据实时采集与消费,其中实时采集功能支持 30+ 种手段。

数据采集一般有两种方式,区别如下。本文档主要讨论通过 loghub 流式导入(实时)采集数据。

方式 优势 劣势 例子
批量导入 吞吐率大,面向历史存量数据 实时性较差 FTP、OSS 上传、邮寄硬盘、SQL 数据导出
流式导入 实时,所见即所得,面向实时数据 收集端要求高 loghub、HTTP 上传、IOT,Queue

背景

“我要点外卖”是一个平台型电商网站,涉及用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜;商家拿到订单后开始加工,并自动通知周围的快递员;快递员将外卖送到用户手中。

screenshot

运营需求

在运营的过程中,发现了如下的问题:

  • 获取用户难,投放一笔不小的广告费到营销渠道(网页、微信推送),收获了一些用户,但无法评判各渠道的效果。
  • 用户经常抱怨送货慢,但慢在什么环节,接单、配送还是加工,如何进行优化?
  • 用户运营,经常搞一些优惠活动(发送优惠券),但无法获得效果。
  • 调度问题,如何帮助商家在高峰时提前备货?如何调度更多的快递员到指定区域?
  • 客服服务,用户反馈下单失败,用户背后的操作是什么?系统是否有错误?

数据采集难点

在数据化运营的过程中,第一步是如何将散落的日志数据集中收集起来,其中会遇到如下挑战:

  • 多渠道:例如广告商、地推(传单)等
  • 多终端:网页版、公众账号、手机、浏览器(web,m 站)等
  • 异构网:VPC、用户自建 IDC,阿里云 ECS 等
  • 多开发语言:核心系统 Java、前端 Nginx 服务器、后台支付系统 C++
  • 设备:商家有不同平台(X86,ARM)设备

我们需要把散落在外部、内部的日志收集起来,统一进行管理。在过去这块需要大量的和不同种类的工作,现在可以通过 loghub 采集功能完成统一接入。

screenshot

日志统一管理、配置

  1. 创建管理日志项目,例如 myorder。
  2. 为不同数据源产生的日志创建日志库,例如:
    • wechat-server(存储微信服务器访问日志)
    • wechat-app(存储微信服务器应用日志)
    • wechat-error(错误日志)
    • alipay-server
    • alipay-app
    • deliver-app(送货员 app 状态)
    • deliver-error(错误日志)
    • web-click(H5 页面点击)
    • server-access(服务端 Access-Log)
    • server-app (应用)
    • coupon(应用优惠券日志)
    • pay(支付日志)
    • order(订单日志)
  3. 如需要对原始数据进行清洗与 ETL,可以创建一些中间结果 logstore。

更多操作可以参见 快速开始/管理控制台

用户推广日志采集

为获取新用户,一般有两种方式:

  • 网站注册时直接投放优惠券
  • 其他渠道扫描二维码,投放优惠券
    • 传单二维码
    • 扫描网页二维码登陆

实施方法

定义如下注册服务器地址,生成二维码(传单、网页)供用户注册扫描。用户扫描该页面进行注册时,就可以得知用户是通过特定来源进入的,并记录日志。

  1. http://examplewebsite/login?source=10012&ref=kd4b

当服务端接受请求时,服务器输出如下日志:

  1. 2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890

其中:

  • time:注册时间。
  • session:浏览器当前 session,用以跟踪行为。
  • source:来源渠道。例如,活动 A 为 10001,传单为 10002,电梯广告为 10003。
  • ref:推荐号,是否有人推荐注册,没有则为空。
  • params:其他参数。

收集方式:

  • 应用程序输出日志到硬盘,通过 logtail 采集
  • 应用程序通过 SDK 写入,参见 SDK

服务端数据采集

支付宝/微信公众账号编程是典型的 Web 端模式,一般会有三种类型的日志:

  • Nginx/Apache 访问日志:用以监控、实时统计

    1. 10.1.168.193 - - [01/Mar/2012:16:12:07 +0800] "GET /Send?AccessKeyId=8225105404 HTTP/1.1" 200 5 "-" "Mozilla/5.0 (X11; Linux i686 on x86_64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2"
  • Nginx/Apache 错误日志

    1. 2016/04/18 18:59:01 [error] 26671#0: *20949999 connect() to unix:/tmp/fastcgi.socket failed (111: Connection refused) while connecting to upstream, client: 10.101.1.1, server: , request: "POST /logstores/test_log HTTP/1.1", upstream: "fastcgi://unix:/tmp/fastcgi.socket:", host: "ali-tianchi-log.cn-hangzhou-devcommon-intranet. sls.aliyuncs.com"
  • 应用层日志:应用层日志要把事件产生的时间、地点、结果、延时、方法、参数等记录详细,扩展类字段一般放在最后

    1. {
    2. "time":"2016-08-31 14:00:04",
    3. "localAddress":"10.178.93.88:0",
    4. "methodName":"load",
    5. "param":["31851502"],
    6. "result":....
    7. "serviceName":"com.example",
    8. "startTime":1472623203994,
    9. "success":true,
    10. "traceInfo":"88_1472621445126_1092"
    11. }
  • 应用层错误日志:错误发生的时间、代码行、错误码、原因等

    1. 2016/04/18 18:59:01 :/var/www/html/SCMC/routes/example.php:329 [thread:1] errorcode:20045 message:extractFuncDetail failed: account_hsf_service_log

实施方法

终端用户日志接入

  • 移动端:可以使用移动端 SDK IOS, Android 或 MAN(移动数据分析)接入。
  • ARM 设备:ARM 平台可以使用 Native C 交叉编译。
  • 商家平台设备:X86 平台设备可以用 SDK、ARM 平台可以使用 Native C 交叉编译。

Web/M 站页面用户行为

页面用户行为收集可以分为两类:

  • 页面与后台服务器交互:例如下单,登陆、退出等。
  • 页面无后台服务器交互:请求直接在前端处理,例如滚屏,关闭页面等。

实施方法

  • 第一种可以参考服务端采集方法。
  • 第二种可以使用 Tracking Pixel/JS Library 收集页面行为,参考 Tracking Web 接口

服务器日志运维

例如:

  • Syslog 日志

    1. Aug 31 11:07:24 zhouqi-mac WeChat[9676]: setupHotkeyListenning event NSEvent: type=KeyDown loc=(0,703) time=115959.8 flags=0 win=0x0 winNum=7041 ctxt=0x0 chars="u" unmodchars="u" repeat=0 keyCode=32
  • 应用程序 Debug 日志

    1. __FILE__:build/release64/sls/shennong_worker/ShardDataIndexManager.cpp
    2. __LEVEL__:WARNING
    3. __LINE__:238
    4. __THREAD__:31502
    5. offset:816103453552
    6. saved_cursor:1469780553885742676
    7. seek count:62900
    8. seek data redo
    9. log:pangu://localcluster/redo_data/41/example/2016_08_30/250_1472555483
    10. user_cursor:1469780553885689973
  • Trace 日志

    1. [2013-07-13 10:28:12.772518] [DEBUG] [26064] __TRACE_ID__:661353951201 __item__:[Class:Function]_end__ request_id:1734117 user_id:124 context:.....

实施方法

参考服务端采集方法。

不同网络环境下的数据采集

loghub 在各 Region 提供访问点,每个 Region 提供三种方式接入:

  • 内网(经典网络):本 Region 内服务访问,带宽链路质量最好(推荐)。
  • 公网(经典网络):可以被任意访问,访问速度取决于链路质量、传输安全保障建议使用 HTTPS。
  • 私网(专有网络 VPC):本 Region 内 VPC 网络访问。

更多信息请参见 网络接入,总有一款适合您。

其他

本文导读目录