集群管理概述

在使用阿里云Elasticsearch集群时,针对不同的使用场景会涉及到对集群不同的管理方式。本文对集群管理方式以及功能描述进行了汇总,以便帮您快速了解各功能。

类别

相关文档

功能描述

冷热分离与生命周期管理

通过索引生命周期管理Heartbeat数据

对于时间序列数据,会随着时间的积累越来越大,您可以通过索引生命周期管理ILM(Index Lifecycle Management)定期将数据滚动到新索引,防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低,您可以将其转移到价格较低的磁盘上,并减少分片和副本的数量。

通过索引生命周期管理实现冷热数据分离

冷热集群是指在集群中包含冷、热两种属性的节点,可以提高Elasticsearch的处理性能和服务稳定性。

在使用阿里云Elasticsearch集群时,您可以通过使用生命周期管理ILM(Index Lifecycle Management)功能,实现冷热数据分离目标。该功能可以为您实现在保证集群读写性能的基础上,自动维护集群上的冷热数据,又能通过优化集群架构,降低企业生产成本。

X-Pack高级特性应用

使用跨集群复制功能迁移数据

通过跨集群复制功能,您可以将本地Elasticsearch集群中的索引数据迁移到一个远程集群中,或者将一个远程集群中的索引数据迁移到本地集群,实现集群高可用及容灾备份,或跨地域数据的就近访问。

X-Pack集成LDAP认证最佳实践

在使用阿里云Elasticsearch集群时,您可以通过配置轻量目录访问协议LDAP(Lightweight Directory Access Protocol)认证,实现相应角色的LDAP用户访问目标阿里云Elasticsearch实例。

通过Elasticsearch X-Pack角色管理实现用户权限管控

当您需要设置集群、索引、字段或其他操作的访问权限时,可以通过Elasticsearch X-Pack的RBAC(Role-based Access Control)机制,为自定义角色分配权限,并将角色分配给用户,实现权限管控。Elasticsearch提供了多种内置角色,您可以在内置角色的基础上扩展自定义角色,以满足特定需求。

配置Active Directory身份认证

基于阿里云Elasticsearch配置活动目录AD(Active Directory)身份认证,以实现AD域下相应角色的用户访问阿里云Elasticsearch。

日志全观测应用

通过Elastic实现Kubernetes容器全观测

Elastic可观测性是通过Kibana可视化能力,将日志、指标及APM数据结合在一起,实现对容器数据的观测和分析。当您的应用程序以Pods方式部署在Kubernetes中,可以在Kibana中查看Pods生成日志、主机和网络上的事件指标及APM数据,逐步缩小排查范围进行故障排查。

基于Indexing Service实现数据流管理

通过使用阿里云Elasticsearch 7.10内核增强版Indexing Service索引构建功能,可以为您实现云托管写入加速和按流量付费(即您无需按集群峰值写入吞吐预留资源),能够极低成本实现海量时序日志分析。

通过OpenStore智能混合存储实现海量数据存储

OpenStore智能混合存储是阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,能够为您在日志场景中提供海量存储服务。

数据管理与可视化

基于Terraform管理阿里云Elasticsearch最佳实践

通过Terraform,您可以使用代码配置实现物理机等资源的分配。即通过Terraform,写一个配置文件,就可以帮助您购买一台云服务器,或者申请到阿里云Elasticsearch、OSS等云资源。通过Terraform管理阿里云Elasticsearch的方法,包括创建、更新、查看、删除实例等操作。

Curator操作指南

Curator是Elasticsearch官方提供的一个索引管理工具,该工具为您提供了删除、创建、关闭、段合并索引等功能。

通过RollUp实现流量汇总最佳实践

对于时序数据场景,随着时间的积累数据量会越来越大。如果一直保留详细数据,会导致存储成本线性增长,此时您可以通过Elasticsearch的RollUp机制节省数据存储成本。

使用DataV大屏展示阿里云Elasticsearch数据

通过在DataV中添加阿里云Elasticsearch数据源,您可以使用DataV访问阿里云Elasticsearch服务,完成数据的查询与展示。

通过Cerebro访问阿里云Elasticsearch

除了Kibana、curl命令、客户端等方式,您还可以通过Elasticsearch-Head、Cerebro等第三方插件或工具访问阿里云Elasticsearch实例。

集群报警通知

配置钉钉机器人接收X-Pack Watcher报警

通过为阿里云Elasticsearch添加X-Pack Watcher,可以实现当满足某些条件时执行某些操作。例如当logs索引中出现error日志时,触发系统自动发送报警邮件、钉钉消息或机器人消息。可以简单地理解为X-Pack Watcher是一个基于Elasticsearch实现的监控报警服务。

配置企业微信机器人接收X-Pack Watcher报警