全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

Producer Library

更新时间:2018-04-11 14:29:45

LogHub Producer Library 是针对应用程序高并发写LogHub类库,Producer Library 和 Consumer Library 是对LogHub的读写包装,降低数据收集与消费的门槛。

功能特点

  • 提供异步的发送接口,线程安全。
  • 可以添加多个Project的配置。
  • 用于发送的网络 I/O 线程数量可以配置。
  • merge成的包的日志数量以及大小都可以配置。
  • 内存使用可控,当内存使用达到用户配置的阈值时,Producer 的 send 接口会阻塞,直到有空闲的内存可用。

功能优势

  • 客户端日志不落盘:既数据产生后直接通过网络发往服务端。
  • 客户端高并发写入:例如一秒钟会有百次以上写操作。
  • 客户端计算与 I/O 逻辑分离:打印日志不影响计算耗时。

在以上场景中,Producer Library 会简化您程序开发的步骤,帮助您批量聚合写请求,通过异步的方式发往LogHub服务端。在整个过程中,您可以配置批量聚合的参数、服务端异常处理的逻辑等。

0c5e22da184eec0f93979cec8ff159394b1143e0

以上各种接入方式的对比:

接入方式 优点/缺点 针对场景
日志落盘 + Logtail 日志收集与打日志解耦,无需修改代码 常用场景
syslog + Logtail 性能较好(80MB/S),日志不落盘,需支持 syslog 协议 syslog 场景
SDK 直发 不落盘,直接发往服务端,需要处理好网络 IO 与程序 IO 之间的切换 日志不落盘
Producer Library 不落盘,异步合并发送服务端,吞吐量较好 日志不落盘,客户端 QPS 高

配置步骤

本文导读目录