使用前须知

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

日志服务联合阿里云负载均衡推出CloudLens for CLB,提供CLB访问日志分析、配置审计日志分析、云监控事件分析、秒级监控指标分析、实时告警等功能,并提供基于AIOps的自动异常巡检功能。您可以通过CloudLens for CLB了解客户端用户行为、客户端用户的地域分布、请求成功率、响应延迟等。本文介绍CloudLens for CLB的功能、优势、资产、费用以及使用限制等信息。

产品试用

SLS Playground中的CloudLens for CLB Demo,内置了CLB实例、演示数据、可视化图表等资源,提供了完整的演示环境,便于您快速了解及体验功能。

您可以单击CloudLens for CLB,进行试用。

重要

SLS Playground中的数据为演示数据,请勿用于生产环境。

功能说明

CloudLens for CLB基于实时访问日志进行自动聚合,并提供智能巡检、实时告警等功能。

image
  • 支持集中管理当前阿里云账号下所有的CLB实例。功能说明

  • 支持一键开启实例日志(访问日志)和全局日志(配置审计日志、云监控事件)的采集功能,集中管理日志的采集状态。具体操作,请参见开启数据采集功能

    • 访问日志:记录了所有发送到负载均衡的请求的详细信息,包括请求时间、客户端IP地址、延迟、请求路径和服务器响应等。

    • 配置审计日志:包括CLB配置变更日志以及资源不合规日志。

    • 云监控事件:记录SLB证书到期的相关事件。

    功能说明

  • 实时CLB访问日志的实时存储、查询与分析。功能说明

  • 提供丰富的可视化报表,包括监控中心、实例巡检等,并支持报表邮件、钉钉群订阅。功能说明

  • 自定义告警配置,告警通知直接对接消息中心、短信、邮件、语音、钉钉,并支持对接自定义WebHook。功能说明

  • 基于原始访问日志实时提取各类指标信息,包括PV、请求成功率、平均延迟、P50/P99延迟、出入流量等。并支持多个维度组合,包括slbid、host、method、status。

  • 提供智能巡检功能,支持全局巡检和slbid粒度巡检,并支持在可视化报表中直接标注异常点。

功能优势

  • 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。

  • 海量:访问日志与CLB实例请求PV成正比,数据规模很大,处理访问日志需要考虑性能和成本问题。CloudLens for CLB支持自定义配置预聚合功能,实时计算聚合指标,计算后的聚合结果可降低几个数量级,使查询速度大大提升。

  • 实时:DevOps、监控、告警等场景要求日志数据的实时性。阿里云负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。

  • 弹性:您可按照CLB实例级别开通或关闭访问日志功能,任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。

  • 智能:基于达摩院智能AIOps算法,提供CLB指标自动巡检功能,有助于更快、更准确地发现并定位问题。

资产说明

所有资产都在您选择的Project下,Project内的资产如下:

  • Logstore

    • 访问日志Logstore用于存储CLB访问日志,该Logstore为您自定义创建的Logstore。

    • 配置审计日志Logstore用于存储配置审计日志,该Logstore为您自定义创建的Logstore。

    • 云监控事件Logstore用于存储云监控事件,该Logstore为您自定义创建的Logstore。

    • 巡检结果Logstore用于存储巡检结果。开通访问日志采集功能后,自动生成该专属Logstore,其名称为访问日志Logstore-metrics-result。

    警告
    • 请勿删除上述Logstore,否则将无法正常采集日志到日志服务。

    • 请勿删除访问日志Logstore中的部分字段的索引,否则指标转换会失败。

  • Metricstore

    监控指标Metricstore用于存储聚合后的指标信息。开通访问日志采集功能后,自动生成该专属Metricstore,其名称为访问日志Logstore-metrics。

    说明

    监控指标Metricstore存储的是聚合后的指标,数据量相比原始访问日志大大降低,非常适用于长期存储。

  • 聚合规则

    规则名称

    聚合时间粒度

    聚合维度

    生成指标名

    total

    10秒

    total

    • pv

    • body_bytes_sent_avg

    • body_bytes_sent_sum

    • request_length_avg

    • request_length_sum

    • upstream_response_time_avg

    • upstream_response_time_p50

    • upstream_response_time_p90

    • upstream_response_time_p99

    • request_time_avg

    • request_time_p50

    • request_time_p90

    • request_time_p99

    slbid

    10秒

    slbid

    • pv:slb

    • body_bytes_sent_avg:slb

    • body_bytes_sent_sum:slb

    • request_length_avg:slb

    • request_length_sum:slb

    • upstream_response_time_avg:slb

    • upstream_response_time_p50:slb

    • upstream_response_time_p90:slb

    • upstream_response_time_p99:slb

    • request_time_avg:slb

    • request_time_p50:slb

    • request_time_p90:slb

    • request_time_p99:slb

    slbid_host_status

    10秒

    slbid+host+status

    • pv:slbid:host:status

    • body_bytes_sent_avg:slbid:host:status

    • body_bytes_sent_sum:slbid:host:status

    • request_length_avg:slbid:host:status

    • request_length_sum:slbid:host:status

    • upstream_response_time_avg:slbid:host:status

    • upstream_response_time_p50:slbid:host:status

    • upstream_response_time_p90:slbid:host:status

    • upstream_response_time_p99:slbid:host:status

    • request_time_avg:slbid:host:status

    • request_time_p50:slbid:host:status

    • request_time_p90:slbid:host:status

    • request_time_p99:slbid:host:status

    slbid+host+status+request_method+upstream_status+url

    10秒

    slbid+host+status+request_method+upstream_status+url

    • pv:slbid:host:status:method:upstream_status

    • body_bytes_sent_avg:slbid:host:status:method:upstream_status

    • body_bytes_sent_sum:slbid:host:status:method:upstream_status

    • request_length_avg:slbid:host:status:method:upstream_status

    • request_length_sum:slbid:host:status:method:upstream_status

    • upstream_response_time_avg:slbid:host:status:method:upstream_status

    • upstream_response_time_p50:slbid:host:status:method:upstream_status

    • upstream_response_time_p90:slbid:host:status:method:upstream_status

    • upstream_response_time_p99:slbid:host:status:method:upstream_status

    • request_time_avg:slbid:host:status:method:upstream_status

    • request_time_p50:slbid:host:status:method:upstream_status

    • request_time_p90:slbid:host:status:method:upstream_status

    • request_time_p99:slbid:host:status:method:upstream_status

  • 巡检规则

    规则名称

    开启状态

    巡检算法

    巡检指标

    slb-patrol-total

    默认开启

    Time2Graph

    • pv

    • body_bytes_sent_avg

    • body_bytes_sent_sum

    • request_length_avg

    • request_length_sum

    • upstream_response_time_avg

    • upstream_response_time_p50

    • upstream_response_time_p90

    • upstream_response_time_p99

    • request_time_avg

    • request_time_p50

    • request_time_p90

    • request_time_p99

    slb-patrol-slb

    默认开启

    Time2Graph

    • pv:slb

    • body_bytes_sent_avg:slb

    • body_bytes_sent_sum:slb

    • request_length_avg:slb

    • request_length_sum:slb

    • upstream_response_time_avg:slb

    • upstream_response_time_p50:slb

    • upstream_response_time_p90:slb

    • upstream_response_time_p99:slb

    • request_time_avg:slb

    • request_time_p50:slb

    • request_time_p90:slb

    • request_time_p99:slb

    slb-patrol-slbid_host_status

    默认关闭

    Time2Graph

    • pv:slbid:host:status

    • body_bytes_sent_avg:slbid:host:status

    • body_bytes_sent_sum:slbid:host:status

    • request_length_avg:slbid:host:status

    • request_length_sum:slbid:host:status

    • upstream_response_time_avg:slbid:host:status

    • upstream_response_time_p50:slbid:host:status

    • upstream_response_time_p90:slbid:host:status

    • upstream_response_time_p99:slbid:host:status

    • request_time_avg:slbid:host:status

    • request_time_p50:slbid:host:status

    • request_time_p90:slbid:host:status

    • request_time_p99:slbid:host:status

    slb-patrol-slbid_host_status_request_method_upstream_status

    默认关闭

    Time2Graph

    • pv:slbid:host:status:method:upstream_status

    • body_bytes_sent_avg:slbid:host:status:method:upstream_status

    • body_bytes_sent_sum:slbid:host:status:method:upstream_status

    • request_length_avg:slbid:host:status:method:upstream_status

    • request_length_sum:slbid:host:status:method:upstream_status

    • upstream_response_time_avg:slbid:host:status:method:upstream_status

    • upstream_response_time_p50:slbid:host:status:method:upstream_status

    • upstream_response_time_p90:slbid:host:status:method:upstream_status

    • upstream_response_time_p99:slbid:host:status:method:upstream_status

    • request_time_avg:slbid:host:status:method:upstream_status

    • request_time_p50:slbid:host:status:method:upstream_status

    • request_time_p90:slbid:host:status:method:upstream_status

    • request_time_p99:slbid:host:status:method:upstream_status

  • 专属仪表盘

    仪表盘名称

    关联的Logstore或Metricstore

    说明

    监控概览

    访问日志Logstore名称-metrics

    展示CLB实例监控指标的总体情况,包括核心指标、错误码、流量、异常事件、访问PV、访问成功率等指标。

    监控中心

    • 访问日志Logstore名称-metrics

    • 访问日志Logstore名称

    展示CLB实例的实时监控数据,包括访问PV、请求成功率、平均延时、4xx请求数、Status分布、流量、P50延迟、P90延迟、P99延迟、TOP请求Host、TOP延迟Host、TOP失败率Host、TOP请求URL、TOP延迟URL、TOP失败率URL、TOP请求后端、TOP延迟后端、TOP失败率后端等指标。

    秒级监控

    访问日志Logstore名称

    展示CLB实例的秒级监控指标,包括QPS、访问延迟、Upstream延迟、成功率、请求流量、返回Body流量、2xx状态码、3xx状态码、错误状态码、Upstream2xx状态码、Upstream3xx状态码、Upstream错误状态码等指标。

    实例巡检

    • 访问日志Logstore名称-metrics

    • 访问日志Logstore名称-metrics-result

    基于日志服务提供的机器学习算法,自动检测CLB实例的异常点,包括异常总数、高等级异常、异常等级分布、中等级异常、低等级异常、异常列表、异常事件等指标。

    访问概览

    访问日志Logstore名称

    展示CLB实例的整体状态,包括PV对比昨日、PV对比上周、UV对比昨日、UV对比上周、PV分布、UV分布、今日访问PV、7天访问PV、TOP10访问省份、移动端占比、TOP10访问Host、TOP10访问UserAgent、TOP访问IP等指标。

费用说明

  • 阿里云负载均衡不针对日志管理功能收取额外费用。

  • 接入CLB访问日志后,日志服务将根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息,请参见按使用功能计费模式计费项

使用限制

  • 只有已配置7层监听的CLB实例才支持开启访问日志的采集。

  • 日志服务Project与CLB实例需处于同一地域。

  • 目前,CloudLens for CLB支持如下地域。

    云类型

    地域

    公共云

    华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华东1(杭州)、华东2(上海)、华南1(深圳)、华南2(河源)、华南3(广州)、西南1(成都)、中国(香港)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、菲律宾(马尼拉)、日本(东京)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、英国(伦敦)、阿联酋(迪拜)

    金融云

    华东1 金融云、华东2 金融云、华南1 金融云

注意事项

警告

CloudLens功能要求云账号下必须存在至少一个Project。

在用户开通和使用CloudLens功能时,日志服务会检测账号下是否存在Project,具体逻辑如下。

检测逻辑

  1. 用户第一次开通CloudLens功能,日志服务会自动检测您当前的阿里云账号下是否存在任意Project,如果没有Project,则会在华南2(河源)地域创建一个名称为aliyun-product-data-阿里云账号ID-cn-heyuan的Project。

  2. 用户开通CloudLens功能后进入CloudLens,日志服务只会自动检测您当前的阿里云账号下是否存在任意Project,不会在华南2(河源)地域创建Project,用户可以手动创建任意Project,创建Project的步骤请参见管理Project

删除Project

  • 如果您要删除aliyun-product-data-阿里云账号ID-cn-heyuan这个Project,可以打开云命令行,执行以下命令进行删除,请根据实际情况替换阿里云账号ID

    aliyunlog log delete_project --project_name=aliyun-product-data-阿里云账号ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
  • 删除其他Project和Logstore的步骤,请参见管理Logstore管理Project