使用CloudLens for SLS分析资源用量

背景信息

CloudLens for SLS推出账单数据（免费），用于监控计费用量。账单数据来源于费用中心，日志服务使用账单拉取加工任务将数据拉取到表格存储中进行存储（账单数据所使用的表格存储实例免费），并通过日志服务外部数据关联能力，提供账单数据的查询分析能力。

基于账单数据，CloudLens for SLS提供了资源用量监控报表，帮助您分析日志服务计费项用量，实时监控用量情况。另外，您还可以使用账单数据，实现日志服务资源用户的自定义SQL分析、告警等功能。

功能入口

1. 登录日志服务控制台。

2. 在日志应用区域的云产品Lens页签中，单击CloudLens for SLS。

   更多信息，请参见CloudLens for SLS。

账单数据介绍

日志服务账单数据包含每一个日志服务实例在不同计费项产生的使用量。在自定义分析前，您需要了解日志服务账单数据中的实例、计费项等基本概念。

读写流量增长场景

下图为日志服务读写流量用量明细统计图，您可以从图中发现03-31~04-01期间读写流量用量明显上升，需要进一步分析上升原因。

您可以使用如下查询与分析语句分析各实例的读写流量数据，然后通过统计图表展示查询与分析结果。

• 查询与分析语句

  * |
  select
   "日期",
   InstanceID,
  "用量"
  from(
  	select
  	date_trunc('day', __time__) as "日期",
  	InstanceID,
  	round(sum(Usage), 3) as "用量"
  	FROM instance_bill
  	where
  	productcode = 'sls'
  	and BillingItem = '读写流量' 
  	group by
  	"日期",
  	InstanceID
  )
  group by
   "日期",
   "用量",
   InstanceID
  order by
   "日期"
  limit
   10000

• 查询与分析结果

  您可以使用交叉表直观地展示每个实例本周的读写流量情况。例如将2023-04-01的读写流量数据进行倒序排列，您可以发现，instance1与instance2在2023-04-01发生了读写流量用量突变，导致整体的读写流量用量发生了突变。然后通过实例ID，您可以准确找到对应的Project、Logstore，便于进一步优化读写流量。

  

存储空间用量增长场景

• 查询与分析语句

  * |
  select
   InstanceID,
   round(diffreal [1], 3) as "Usage",
   concat(
  		cast(
  			round(diffreal [1] / sum(diffreal [1]) over() * 100, 2) as varchar
  		),
  		'%'
  	) as "用量占比",
   concat(
  		cast(
  			coalesce(round(diffreal [5] * 100 -100), 2) as varchar
  		),
  		'%'
  	) as "同比-1天",
   concat(
  		cast(
  			round(coalesce(diffreal [6] * 100 -100, 2)) as varchar
  		),
  		'%'
  	) as "同比-2天",
   concat(
  		cast(
  			round(coalesce(diffreal [7] * 100 -100), 2) as varchar
  		),
  		'%'
  	) as "同比-3天"
  from(
  	select
  	InstanceID,
  	compare(Usage, 86400, 172800, 259200) as diffreal
  	from(
  		select
  		InstanceID,
  		sum(Usage) as Usage
  		FROM instance_bill
  		where ProductCode='sls' and BillingItem = '存储空间'
  		group by
  		InstanceID
  	)
  	group by
  	InstanceID
  )
  order by
   diffreal [1] desc
  limit
   1000

• 查询与分析结果

  您可以使用交叉表直观地展示查询与分析结果。您可以按照实例存储用量占比进行排序，从下述表格可知占比前四的实例均保持稳定的用量趋势，而instance5的存储空间用量在近三天同比中呈现较明显的上升趋势。因此，您需要针对instance5进一步分析存储量上升原因。

  

您可以执行如下查询与分析语句，针对instance5进一步分析存储量上升原因。

• 查询与分析语句

  其中，需将${instance5}替换为具体的实例。

  * |
  select
   date_trunc('day', __time__) as "日期",
   BillingItem,
   round(sum(Usage), 3) as "Usage"
  FROM instance_bill
  where
   productcode = 'sls'
  and InstanceID = ${instance5}
  group by
   "日期",
   BillingItem
  order by
   "日期"

• 查询与分析结果

  通过该实例的用量趋势图可知，除存储空间用量外，该实例的读写流量、索引流量都有所增长。虽然后面的读写流量与索引流量稳定在一个固定区间，但存储量持续增长，特别是01-01~01-09期间的存储用量数据。这是因为存储空间用量包含日志写入流量和索引数据量，即数据存储时长不变时，每日写入流量、索引流量增加会导致总存储量增加。

  假设每日新写入流量和索引流量固定为1 GB，数据存储时长为30天，则总存储量稳定为30 GB。当新写入流量和索引流量增加为2 GB后，增加后的第一天总存储量为31 GB，第二天总存储量为32 GB，以此类推，新写入流量和索引流量增加的30天后，总存储量为2 GB*30=60 GB。这就导致了虽然索引流量和读写流量后续没有较大变化，但存储量持续上升的情况。

  在分析存储空间用量增长的原因后，您需要对存储空间用量进行优化。由于写入流量跟实际业务绑定，因此您可以根据实际使用情况适当减少索引数，同时采取缩短存储时长等方式减少存储量。

  

  

实际使用量没变，但用量统计为0场景

1. 根据账单数据排查计费方式是否为资源包抵扣。

   • 查询与分析语句

     分别查询用量数据、资源包抵扣数据量。

     (*) |
     select
     	InstanceID,
      BillingItem,
      	Usage as "用量",
     	DeductedByResourcePackage as "资源包抵扣量"
     FROM instance_bill
     where
      productcode = 'sls'

   • 查询与分析结果

     从下图可知，虽然账单计算用量为0，但资源包抵扣量不为0，说明存在资源包抵扣情况。

     

2. 判断资源包抵扣量是否为计费项总用量。

   • 查询与分析语句

     查询资源包抵扣前的原始资源用量。其中，资源包抵扣用量为DeductedByResourcePackage，抵扣前总用量为Usage+DeductedByResourcePackage。

     * |
     select
      date_trunc('day', __time__) as "日期",
      BillingItem,
      round(sum(Usage + DeductedByResourcePackage), 3) as "抵扣前总用量"
     FROM instance_bill
     where
      productcode = 'sls'
     group by
      "日期",
      BillingItem
     order by
      "日期"

   • 查询与分析结果