实时日志

为什么选择实时日志

传统的离线日志分析模式存在着明显的时效性问题：用户需要下载日志、重新上传至数据仓库、进行清洗和数据模型定义，整个流程耗时较长。而ESA的实时日志系统通过流式数据处理平台处理原始日志后投递至客户服务器，缩短整体处理链路，实现了秒级日志交付。

ESA实时日志的特性如下：

• 全球节点业务日志秒级交付：在全球范围内的超3200个业务节点上实现日志的秒级交付，确保数据的实时性和高可用性。

• 投递存储能力支持：支持多种投递存储地址，包括但不限于云存储服务（如AWS S3、SLS）、自建存储服务（如HTTP、Kafka）、以及其他第三方存储解决方案（比如 S3兼容），可以根据自身需求选择最合适的存储方案。

• 强大且灵活的日志定制服务：用户可以根据业务需求自定义日志格式和内容，且支持投递采样功能、字段过滤器，确保日志信息的精确性和相关性。

• 完善的服务监控和工具集：支持补充遗漏的日志数据，确保数据的完整性和连续性，保障客户的业务不受损。同时支持数据可视化大盘，可以根据实时日志生成日志分析、报表生成、数据可视化、监控告警等功能，帮助用户全面了解和掌握业务运行状况，支持决策和优化。

实时日志的分类

当您的业务接入了ESA服务后，您可能需要分析用户行为和网站健康状况等数据，以辅助业务策略调整。针对以下场景：

• 安全监控：当您的网站遭受了非法的攻击，如DDoS攻击、爬虫行为、尝试性攻击或其他可疑活动，需要进行攻击源定位以及制定安全策略时。

• 性能监控：当您需要对ESA性能指标，如请求延迟、错误率等进行监控以排查相关故障时。

• 用户行为分析：当您需要分析用户的访问模式和行为，例如最常访问的内容、访问时间、停留时长等。

• 业务分析与优化：当您需要分析流量、带宽、资源使用情况、地理分布数据、缓存命中率等数据来优化您的业务策略时。

• 审计和合规：当您为满足多种监管要求，如数据保留策略、用户隐私和法律合规性等，需要审计证据时。

您可以根据您的需求场景同时选择多种日志，来多方位护航您的业务。

处理实时日志

当用户在客户端发起请求后，ESA节点在处理请求时会同时记录相应的日志，通过ESA日志系统收集处理日志。为了灵活检索与分析您的实时日志，ESA日志系统提供了推送功能，您可以将您的日志推送到您对应的日志存储处理平台。ESA支持您将日志投递至阿里云日志服务（SLS）、阿里云对象存储（OSS）、AWS S3、兼容S3的其他存储服务、HTTP服务器或Kafka。

不同套餐的支持情况

每种日志类型下可创建的推送任务数量由购买的套餐决定，不同的套餐支持的实时日志投递任务如下。