费用和两方面因素相关:
- 数据量:用户的数据量是业务决定的,无法优化。
- 配置:使用和数据量相匹配的配置,选择最优的解决方案,才能使成本最小化。
优化配置
配置可以从以下两个方面进行优化:
-
分区个数
一个分区最大可以处理5M/s的数据。只有readwrite的分区会收费。请调整分区个数,使其正好能处理5M/s的数据。减少分区个数请合并分区。
-
Logstore 数据保存周期
针对您对日志的查询、存储的需求不同,建议您优化Logstore 数据保存周期。
-
如果您收集日志是为了做流计算,建议您只使用LogHub,不创建索引。
-
如果您需要经常查询最近90天的日志数据,偶尔查询90天前的数据,建议您把Logstore 数据保存周期调整到90天,同时把数据导入MaxCompute。查询90天内数据,使用日志服务,查询90天前数据,使用MaxCompute。
-
如果您对日志有长时间存储和备份的需求,建议您把日志导入到OSS。
-
其他优化建议
- 使用Logtail:有 Batch 与断点续传功能,在保障实时性的同时以最优算法传输数据。Logtail 消耗资源是开源软件(Logstash,FluentD)的1/4,减少CPU消耗。
- API写入用户尽量使用64KB~1MB大包写入,减少请求次数。
- 索引关键字段,例如UserID,Action等,对无用字段不配置索引。