日志服务推出CloudLens for SLS应用,帮助您监控和管理日志服务Project、Logstore等资产,以提升您对日志服务资产的管理效率、快速了解其消耗情况。
功能说明
CloudLens for SLS支持如下功能。
- 支持集中管理当前阿里云账号下符合条件的Project和Logstore。条件说明,请参见使用限制。
- 支持一键开启实例日志(重要日志、详细日志、任务运行日志)和全局日志(审计日志、计费日志)的采集功能,集中管理日志的采集状态。
- 重要日志:包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志,存储在指定Project下名为internal-diagnostic_log的Logstore中。
- 详细日志:包括Project内所有资产的创建、修改、更新、删除操作日志和数据读写日志,存储在指定Project下名为internal-operation_log的Logstore中。
- 任务运行日志:记录数据导入(新版)、定时SQL、投递(新版)等任务的出错与延迟信息,存储在指定Project下名为internal-diagnostic_log的Logstore中。
- 审计日志:记录当前阿里云账号内所有Project内资源的创建、修改、更新、删除等操作日志,存储在指定Project下名为internal-audit_log的Logstore中。
- 计费日志:通过成本管家记录日志服务计费资源数据,存储在表格存储(OTS)中,每日自动全量更新。数据详情,请参见账单数据说明。重要
- 初次开通时,数据导入大概需要1~2小时,具体导入时间受账单数据量影响。
- 仅公共云用户支持开通计费日志。
- 开通后,不支持关闭。
- 错误日志:记录当前阿里云账号内所有Project内资源的创建、修改、更新、删除以及数据读写的错误日志,存储在指定Project下名为internal-error_log的Logstore中。重要 目前,仅存储俄罗斯(莫斯科)地域Project的错误日志。
更多信息,请参见服务日志。
- CloudLens for SLS预设了基线告警、同环比告警等相关的告警监控规则,用于监控Project、Logtail、消费组等资源的使用,并支持短信、钉钉、邮件、语音、自定义Webhook等通知方式。更多信息,请参见设置告警。
- 提供丰富的可视化报表,包括访问监控、采集监控、操作监控、作业监控、额度监控和计费资源监控这六大类报表。更多信息,请参见查看数据报表。
- 支持查看当前阿里云下符合条件的Project和Logstore的Quota信息。条件说明,请参见使用限制。说明 CloudLens for SLS会每12个小时更新一次Quota信息。
适用场景
- 开发运维
开发人员可通过CloudLens for SLS监控和管理日志服务Project、Logstore等资产,提升对日志服务资产的管理效率;通过对CloudLens for SLS所采集的Project实例详细日志、重要日志和任务监控日志进行查询与分析,提高了问题定位的效率。
- IT运维
IT运维人员可通过CloudLens for SLS的告警功能及时感知和响应Project服务状态、流量、Quota以及Logtail多维度指标的异常。
- 安全审计
CloudLens for SLS的审计日志可以记录用户对Project内资源的创建、更新和删除操作,便于安全审计人员对特定时间内的操作进行安全分析与审计。
资产详情
- Project和Logstore
- 开启重要日志、任务运行日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-diagnostic_log的Logstore。
- 开启详细日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-operation_log的Logstore。
- 开启审计日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-audit_log的Logstore。
- 开启错误日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-error_log的Logstore。
- 仪表盘
仪表盘 说明 访问监控 访问流量监控 展示日志服务的访问情况,包括今日请求总数、客户端个数、今日用户数、今日IP读取网络流量Top 10、今日IP写入网络流量Top 10、请求数、写入流量等图表。 访问异常监控 展示日志服务的异常访问情况,包括今日请求总数、失败请求占比、额度超出限制异常、请求异常状态分布、超过写入限制Logstore、请求异常数、请求处理耗时趋势等图表。 消费组监控 展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。 采集监控 Logtail整体状态 展示Logtail相关信息,包括活跃Logtail数、原始数据流量、运行状态分布、内存占用分布、Logtail整体状态、CPU趋势、内存趋势、数据发送流量等图表。 Logtail文件采集监控 展示待采集文件的相关信息,包括采集文件数、采集机器数、采集文件分布、采集日志量、平均采集延迟、解析失败率、发送次数趋势等图表。 Logtail异常监控 展示Logtail的异常情况,包括活跃Logtail数、Logtail重启列表、重启客户端数、关键错误等图表。 操作监控 操作监控 展示日志服务操作记录,包括日志库操作变更数、日志库操作失败占比、操作客户端个数等图表。 作业监控 数据处理监控 展示数据导入任务(新版)、投递任务(新版)或定时SQL任务运行情况,包括读成功条数、读失败条数、写成功条数、写失败条数、读公网流量、写公网流量、处理速率、进度落后、运行异常等图表。 额度监控 额度监控 展示资产额度超限情况,包括LogStore额度超限、Dashboard额度超限、Shard额度超限、告警额度超限、机器组额度超限、Logtail采集配置额度超限等图表。 计费资源监控 计费资源监控 展示日志服务计费资源信息,包括存储空间-日志热存储、存储空间-日志冷存储、索引流量-日志索引、读写流量、计费项用量趋势(资源包抵扣后)、Top Project用量明细、Top Logstore用量明细等。
费用说明
CloudLens for SLS应用服务免费,提供的各类日志费用具体说明如下:
- 重要日志、任务运行日志和审计日志的接入、存储与查询分析免费。当您进行数据加工、数据投递等操作时,按量计费。
- 详细日志的计费方式与普通Logstore一致。
- 计费日志不会产生额外费用,其涉及的Project、表格存储实例均为免费实例。
更多信息,请参见计费项。
使用限制
目前,CloudLens for SLS只监控和管理如下地域的资产。
云类型 | 地域 |
---|---|
公共云 | 华东1(杭州)、华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华东2(上海)、西南1(成都)、华南1(深圳)、华南2(河源)、华南3(广州)、中国(香港)、俄罗斯(莫斯科)、印度尼西亚(雅加达)、马来西亚(吉隆坡)、菲律宾(马尼拉)、新加坡、韩国(首尔)、泰国(曼谷)、日本(东京)、印度(孟买)、英国(伦敦)、澳大利亚(悉尼)、德国(法兰克福)、阿联酋(迪拜)、美国(硅谷)、美国(弗吉尼亚) |
金融云 | 华东1(杭州金融云)、华东2(上海金融云)、华北2(北京金融云)、华南1(深圳金融云) |
注意事项
开启任意一个Cloud Lens,日志服务都会自动检测您当前的阿里云账号下是否存在一个名为aliyun-product-data-阿里云账号ID-cn-heyuan的Project。如果不存在,则日志服务会自动创建该Project。
如果您要删除该Project,可以打开云命令行,然后执行
aliyunlog log delete_project --project_name=aliyun-product-data-阿里云账号ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
命令,进行删除。其中阿里云账号ID,请根据实际情况替换。警告 删除该Project后,将导致所有的Cloud Lens不可用,请谨慎操作。