最佳实践概览

场景

文档

AI搜索

• 阿里云ES AI多模态搜索（百炼）

• 阿里云ES AI场景语义搜索（AI搜索开放平台）

• 阿里云ES RAG知识库在线问答（AI搜索开放平台）

• ES AI 助手（Elastic AI Assistant）使用指引

向量检索

向量引擎最佳实践

数据采集

• 主机日志采集

  • 通过Filebeats采集ECS服务日志

  • 通过自建Filebeat收集MySQL日志

  • 通过Filebeat采集Apache日志数据

  • 通过Metricbeat收集系统数据及Nginx服务数据

  • 通过Auditbeat收集系统审计数据并监控文件更改

  • 通过Heartbeat检测ICMP及HTTP服务

  • Elastic Agent采集Nginx日志数据

  • Elastic Agent采集NetFlow日志数据

  • Elastic Agent采集自定义日志数据

• Kubernetes容器日志采集

  • 使用Filebeat Sidecar采集ACK集群日志至阿里云ES

  • 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统

  • 使用 Elastic Agent Sidecar 通过OTel协议将日志采集至阿里云ES

  • 在ACK中通过Kafka将应用日志接入阿里云ES

• 应用日志采集

  • 使用阿里云ES监控RabbitMQ

  • 查询分析RocketMQ客户端日志

  • 通过Elasticsearch和rsbeat实时分析Redis slowlog

• 服务器数据采集

  • 通过自建Metricbeat收集系统指标信息

  • 使用SkyWalking和Elasticsearch实现全链路监控

  • 通过Uptime实时监控阿里云Elasticsearch服务

  • 通过自建APM Server将数据采集至阿里云Elasticsearch

  • 通过自建Logstash迁移数据到阿里云ES

数据迁移

• 阿里云Elasticsearch之间的数据迁移

  • 通过Reindex API迁移数据

  • 基于reindex实现低版本多type数据迁移

  • 迁移Elasticsearch角色和kibana可视化大盘

  • 将Elasticsearch数据迁移至OpenStore智能混合存储

  • 将Elasticsearch数据迁移至OpenStore冷热分离存储

• 自建Elasticsearch数据迁移至阿里云Elasticsearch

  • 将自建Elasticsearch数据迁移至阿里云

  • 通过阿里云Logstash将自建Elasticsearch数据迁移至阿里云

  • 通过reindex将自建ES数据迁移至阿里云

  • 通过elasticsearch-dump工具迁移数据

  • 通过实例私网打通将自建Elasticsearch数据迁移至阿里云

  • 通过脚本实现索引结构、模板或ILM的同步

  • 通过Logstash将自建Elasticsearch数据全量或增量迁移至阿里云

• 第三方Elasticsearch数据迁移至阿里云Elasticsearch

  • 腾讯云ES数据迁移至阿里云

  • 将AWS ES中的索引迁移至阿里云ES

  • 从Solr集群迁移文档至阿里云Elasticsearch

数据同步

• RDS MySQL

  • 通过Logstash将RDS MySQL数据同步至Elasticsearch

  • 通过DataWorks将MySQL数据同步到阿里云Elasticsearch

  • 通过DTS将MySQL数据实时同步到阿里云ES

  • 通过Canal将MySQL数据同步到阿里云ES

• RDS SQLServer

  • 通过DataWorks将RDS SQL Server数据同步到阿里云ES

• PolarDB-X

  • 通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch

  • 通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES

• PolarDB MySQL

  • 通过DTS将PolarDB MySQL数据同步至Elasticsearch

• MongoDB

  • 通过Monstache实时同步MongoDB数据至Elasticsearch

• OpenLake

  • OpenLake-DLF数据同步至阿里云ES

• MaxCopute

  • 通过DataWorks将MaxCompute数据同步到阿里云ES

  • 通过阿里云Logstash将MaxCompute数据同步至阿里云ES

• Hadoop

  • 通过DataWorks将Hadoop数据同步到阿里云ES

  • 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

  • 通过ES-Hadoop将HDFS中的数据写入Elasticsearch

  • 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

• HBase

  • 通过DataWorks将HBase数据同步到阿里云ES

• 日志数据

  • 通过实时计算处理数据并同步到ES

• OSS数据

  • 基于Logstash迁移OSS数据

• 第三方产品数据

  • 通过Logstash同步Azure Event Hubs数据至Elasticsearch