全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

产品架构

更新时间:2017-10-26 15:02:40

日志服务的系统架构如下图所示:架构

Logtail

帮助您快速收集日志的代理。其特点如下所示:

  • 基于日志文件、无侵入式的收集日志
    • 仅读取文件
    • 读取过程无侵入
  • 安全、可靠
    • 支持文件轮转不丢失数据
    • 支持本地缓存
    • 网络异常重试
  • 方便管理
    • Web端管理
    • 支持可视化配置
  • 完善的自我保护
    • 实时监控进程 CPU、内存消耗
    • 限制内存使用上限

前端服务器

采用LVS+Nginx构建的前端机器。其特点如下所示:

  • HTTP、REST协议
  • 水平扩展
    • 流量上涨时支持水平扩展。
    • 可快速通过增加前端机来提高处理能力。
  • 高吞吐、低延时
    • 纯异步处理,单个请求异常不会影响其他请求。
    • 内部采用专门针对日志的Lz4压缩,提高单机处理能力,降低网络带宽。

后端服务器

后端是分布式的进程,部署在多个机器上,完成实时对Logstore数据的持久化,索引,查询,以及投递至MaxCompute。整体后端服务的特点如下所示:

  • 数据高安全性 :
    • 您写入的每条日志,都会被保存3份。
    • 任意磁盘损坏、机器硬件或软件系统错误的情况下,数据自动复制修复。
  • 稳定服务:
    • 进程崩溃和机器长时间无响应时,Logstore会自动迁移。
    • 自动负载均衡,确保无单机热点。
    • 严格的Quota限制,防止单个用户行为异常对其他用户产生影响。
  • 水平扩展:
    • 以分区(Shard)为单位进行水平扩展。
    • 用户可以按需动态增加分区来增加吞吐量。
本文导读目录