对于时间序列数据，会随着时间的积累越来越大，您可以通过索引生命周期管理ILM（Index Lifecycle Management）定期将数据滚动到新索引，防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低，您可以将其转移到价格较低的磁盘上，并减少分片和副本的数量。本文介绍通过ILM管理Heartbeat数据的方法。
背景信息
业务场景中存在大量的heartbeat-*时序索引，并且每天单个索引大小都为4 MB左右。当数据越来越多时，shard数量也会越来越多，导致集群负载增加。所以需要指定不同的滚动更新策略，在hot阶段滚动更新heartbeat-*开头的历史监控索引，warm阶段对索引进行分片收缩及段合并，cold阶段将数据从hot节点迁移到warm（冷数据）节点，delete阶段定期删除索引数据。
注意事项
- 索引必须定义模板和别名后，才可以设置生命周期管理策略。
- 如果在滚动更新索引时修改了生命周期管理策略，新策略将在下一次滚动更新时生效。
操作流程
步骤一：创建并配置冷热集群
- 创建冷热集群并查看集群的冷热节点属性。冷热集群是指在集群中包含冷、热两种属性的节点，可以提高Elasticsearch的处理性能和服务稳定性。两者区别如下。
节点类型 存储数据要求 读写性能要求 规格要求 存储要求 热节点（hot） 近期数据，例如最近2天的日志数据。 高 高，例如32核64 GB 建议使用SSD云盘存储数据，存储空间大小需根据数据大小进行设置。 冷节点（warm） 历史数据，例如2天之前的日志数据。 低 低，例如8核32 GB - 建议使用高效云盘存储数据，存储空间大小需根据数据大小进行设置。
- 建议使用阿里云自研OpenStore存储功能，实现海量冷数据Serverless存储，详细信息请参见通过OpenStore实现海量数据存储。
- 在Console中，执行如下命令，查看集群冷热节点属性。
GET _cat/nodeattrs?v&h=host,attr,value结果显示集群中包含3个hot节点，2个warm节点，支持冷热架构。
步骤二：在Heartbeat下配置ILM
为了使Heartbeat与Elasticsearch的ILM无缝衔接，可在heartbeat.yml配置中定义Elasticsearch的ILM，详细配置请参见Set up index lifecycle management。
步骤三：创建ILM策略
./heartbeat setup --ilm-policy命令加载默认的策略并写入Elasticsearch，默认策略可通过./heartbeat export ilm-policy命令到stdout。您可以修改该默认策略，实现手动创建策略。
在Kibana控制台中，执行以下命令，创建ILM策略。
PUT /_ilm/policy/hearbeat-policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_size": "5mb",
"max_age": "1d",
"max_docs": 100
}
}
},
"warm": {
"min_age": "60s",
"actions": {
"forcemerge": {
"max_num_segments":1
},
"shrink": {
"number_of_shards":1
}
}
},
"cold": {
"min_age": "3m",
"actions": {
"allocate": {
"require": {
"box_type": "warm"
}
}
}
},
"delete": {
"min_age": "1h",
"actions": {
"delete": {}
}
}
}
}
}| 参数 | 说明 |
|---|---|
| hot | 该策略设置索引只要满足其中任一条件：数据写入达到5 MB、使用超过1天、doc数超过100，就会触发索引滚动更新。此时系统将创建一个新索引，该索引将重新启动策略，而旧索引将在滚动更新后等待60秒进入warm阶段。
注意 目前Elasticsearch支持在rollover中配置三种归档策略：max_docs、max_size、max_age，满足其中任何一个条件都会触发索引归档操作。
|
| warm | 索引进入warm阶段后，ILM会将索引收缩到1个分片，强制合并为1个段。完成该操作后，索引将在3分钟（从滚动更新时算起）后进入cold阶段。 |
| cold | 索引进入cold阶段后，ILM将索引从hot节点移动到warm（冷数据）节点。完成操作后，索引将在1小时后进入delete阶段。 |
| delete | 索引进入delete阶段后被删除。 |
- 策略名创建后将无法更改。
- 您也可以在Kibana控制台上创建策略，但是Kibana上指定的max_age最小单位为小时，而通过API方式，可指定最小单位为秒。
步骤四：为ILM策略关联索引模板
启动Heartbeat后，系统会自动在对应的Elasticsearch中创建Heartbeat索引模板。您需要为步骤三：创建ILM策略中创建的自定义ILM策略关联该索引模板。
- 在Index lifecycle policies列表中，选择。
- 在弹出的对话框中，从Index template列表中选择索引模板，并在Alias for rollover index文本框中输入索引别名。
步骤五：为索引关联ILM策略
启动Heartbeat后，系统会自动在对应的Elasticsearch中创建索引。您需要为第一个索引关联对应的ILM策略，该ILM策略已经关联了索引模板（步骤四：为ILM策略关联索引模板）。
- 在Summary页面，选择，移除Heartbeat自带的默认策略。
- 在弹出的对话框中，从Lifecycle policy列表中选择步骤三：创建ILM策略中创建的生命周期策略，并在Index rollover alias输入框中输入步骤四：为ILM策略关联索引模板中定义的索引别名，单击Add policy。
关联成功后，结果如下图。
步骤六：查看各阶段索引
您也可以使用同样的方式，查看其他阶段的索引。
常见问题
Q：如何设置ILM策略周期？
PUT _cluster/settings
{
"transient": {
"indices.lifecycle.poll_interval":"1m"
}
}