全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

采集-公网数据

更新时间:2017-06-12 16:15:12

对一些应用场景而言,需要实时收集公网数据 (例如,移动端、HTML 网页、PC、服务器、硬件设备、摄像头等)实时进行处理。

在传统的架构中,一般通过前端服务器 + Kafka 这样的搭配来实现如上的功能。现在 日志服务loghub 功能 能够代替这类架构,并提供更稳定、低成本、弹性、安全的解决方案。

场景

公网有移动端、外部服务器、网页和设备数据进行采集。采集完成后需要进行实时计算、数据仓库等数据应用。

arch

方案 1:前端服务器 + Kafka

由于 Kafka 不提供 Resful 协议,更多是在集群内使用,因此一般需要架设 Nginx 服务器做公网代理,再通过 logstash 或 API 通过 Nginx 写 Kafka 等消息中间件。

需要的设施为:

设施 数目 配置 作用 价格
ECS 服务器 2 台 1 核 2GB 前端机、负载均衡,互备 108 元/台*Month
负载均衡 1 台 标准 按量计费实例 14.4 元/Month(租赁) + 0.8 元/GB (流量)
Kafka/ZK 3 台 1 核 2GB 数据写入并处理 108 元/台*Month

方案 2:使用 loghub

通过 Mobile SDK、logtail、Web Tracking JS 直接写入 loghub EndPoint。

需要的设施为:

设施 作用 价格
loghub 实时数据采集 < 0.2 元/GB,参见 计费规则

场景对比

场景 1:一天 10GB 数据采集,大约一百万次写请求。(这里 10GB 是压缩后的大小,实际数据大小一般为 50GB~100GB 左右。)

  1. 方案 1
  2. --------------
  3. 负载均衡 租赁:0.02 * 24 * 30 = 14.4
  4. 负载均衡 流量:10*0.8*30 = 240
  5. ECS 费用:108 * 2 = 216
  6. Kafka ECS: 免费,假设与其他服务公用
  7. 共计:484.8 元/月
  8. 方案 2
  9. --------------
  10. loghub 流量:10 * 0.2 * 3- = 60
  11. loghub 请求次数:0.12 (假设一天 100W 请求)* 30 = 3.6
  12. 共计:63.6 元/月

场景 2:一天 1TB 数据采集,大约一亿次写请求。

  1. 方案 1
  2. --------------
  3. 负载均衡 租赁:0.02 * 24 * 30 = 14.4
  4. 负载均衡 流量:1000 * 0.8* 30 = 24000
  5. ECS 费用:108 * 2 = 216
  6. Kafka ECS: 免费,假设与其他服务公用
  7. 共计:24230.4 元/月
  8. 方案 2
  9. --------------
  10. loghub 流量:1000 * 0.15 * 30 = 4500 (阶梯计价)
  11. loghub 请求次数:0.12 * 100(假设一天 1 亿请求)* 30 = 360
  12. 共计:4860 元/月

方案比较

从以上两个场景可以看到,使用 loghub 进行公网数据采集,成本是非常有竞争力的。除此之外,和方案 1 相比还有以下优势:

  • 弹性伸缩:MB-PB/Day 间流量随意控制
  • 丰富的权限控制:通过 ACL 控制读写权限
  • 支持 HTTPS:传输加密
  • 日志投递免费:不需要额外开发就能与数据仓库对接
  • 详尽监控数据:让您清楚业务的情况
  • 丰富的 SDK 与上下游对接:和 Kafka 一样拥有完整的下游对接能力,和阿里云及开源产品深度整合

有兴趣可以参见 日志服务主页 体验该服务。

本文导读目录