什么是OpenSearch-开源兼容版

更新时间:
复制为 MD 格式

阿里云OpenSearch开源兼容版是基于开源 OpenSearch 打造的全托管云服务,在 100% 兼容开源功能的基础上,提供开箱即用、弹性伸缩、按需付费的能力。您无需管理底层基础设施,也无需具备深厚的 OpenSearch 运维经验,即可轻松实现日志分析、应用搜索、企业搜索等场景下的数据采集、存储、搜索、分析与可视化。

开源 OpenSearch 是一款由社区驱动、基于 Apache 2.0 许可的 100% 开源分布式搜索与分析套件,底层依托 Apache Lucene 构建,支持全文搜索、SQL 查询、k-最近邻(KNN)搜索、异常检测、Machine Learning Commons、Trace Analytics 等丰富功能,适用于实时应用监控、日志分析、网站搜索等多种场景。其配套的可视化工具 OpenSearch Dashboards(原 OpenSearch 控制面板)可帮助用户直观地探索、聚合和分析海量数据。

阿里云 OpenSearch 开源兼容版提供哪些功能?

功能

说明

内置的搜索功能

提供一系列功能,以帮助您满足各种搜索需求,如全文搜索、滚动搜索、可自定义的评分与排名等。

SQL 查询语法

提供熟悉的 SQL 查询语法。使用聚合、group by 和 where 子句来检索您的数据和阅读 JSON 文档或 CSV 表格形式的数据,以便您可以灵活地使用最适合您的格式。

SQL 中的搜索支持

让您可以使用熟悉的 SQL 查询语法,同时访问丰富的搜索功能集,如模糊匹配、boosting、短语匹配等。

Data Prepper

Data Prepper 是一种服务器端数据收集器,可为下游分析和可视化应用筛选、丰富、转换、规范化以及聚合数据。Data Prepper 让用户可以构建自定义管道,以便优化应用程序的运营视图。

Trace Analytics

Trace Analytics 提供一种在 OpenSearch 中对 OpenTelemetry 数据进行提取与可视化的方式。这些数据可以帮助您查找与修复分布式应用程序中的性能问题。

应用程序分析

利用应用程序分析来构建自定义可观测性应用程序,以便查看您的系统的可用性状态。您可以在这些系统中将日志事件和跟踪及指标数据整合到整体系统运行状况的单一视图当中。这让您可以在日志、跟踪和指标之间快速进行切换,深入挖掘任何问题的根源。

竖线处理语言(PPL)

Piped Processing Language(PPL)提供一种熟悉的查询语法,其中包含一组由竖线(|)分隔的命令来查询数据。

运维面板

使用Piped Processing Language(PPL)构建运维面板,以整理生成的可观测性可视化内容。

事件分析

使用Piped Processing Language(PPL)查询以交互方式构建和查看有关您的数据(包括跟踪日志相关性)的不同可视化内容。

ML Commons 库

使用一系列机器学习算法(如 k 均值和异常检测)来训练模型并预测数据中的趋势。ML Commons 与 PPL 和 REST API 直接集成。

报表

计划、导出和分享控制面板、保存的搜索、提示和可视化中的报表。

异常检测

利用基于 Random Cut Forest(RCF)算法的 Machine Learning 异常检测,或在摄取您的数据时自动检测异常。与提示相结合,以准实时地监控数据并自动发送提示通知。

索引管理

自定义策略以自动化常规索引管理任务,如 rollover 和删除,并将它们应用于索引和索引模式。

索引转换

为以特定字段为数据中心的数据创建汇总视图,从而以不同的方式对数据进行可视化或分析。 例如,假设您有分散在不同字段和类别的航班数据,而您想要按航班、季度和价格查询数据。您可以使用转换作业创建新的汇总索引,并按这些特定类别加以整理。

索引汇总

挑选您感兴趣的字段,然后使用索引汇总创建新索引,仅将这些字段聚合查询。您可以以非常低的成本存储数月或几年的历史数据,并享有相同的查询性能。

性能分析器和 RCA 框架

查询大量集群的性能指标和聚合。使用 PerfTop、命令行界面 (CLI) 快速显示和分析这些指标。使用根本原因分析 (RCA) 框架调查集群中的性能和可靠性问题。

异步搜索

在不担心查询超时的情况下运行复杂的查询,并使异步搜索查询在后台运行。跟踪查询进度并在部分结果可用时检索它们。

Trace Analytics

摄取并可视化分布式应用程序的 OpenTelemetry 数据。可视化应用程序之间的事件流,以识别性能问题。

提示

自动监控数据并自动发送提示通知。使用直观界面和强大的 API 轻松设置、管理和监控提示。使用 OpenSearch 的完整查询语言和脚本功能制定高度特定的提示条件。

Bucket Level Alerting

创建提示策略,针对数据中的分组趋势发送提示。例如,您可以选择在每个主机的平均 CPU 高于所需阈值时发送提示。

跨集群复制

从一个 OpenSearch 集群复制索引、映射和元数据到另一个集群,以便创建跨集群冗余或将报告查询卸载到次集群。

k-NN 搜索

使用机器学习,像运行任何常规的 OpenSearch 查询一样,在数千个维度的数十亿文档上运行最近邻搜索算法。使用聚合和筛选子句进一步细化相似度搜索操作。k-NN 相似度搜索支持产品推荐、欺诈检测、图像和视频搜索、相关文档搜索等场景。

控制面板笔记本

组合控制面板、可视化、文本等在分析数据时提供上下文和详细说明。

OpenSearch 客户端

OpenSearch 支持一系列语言客户端,如Python、Java、Go、JavaScript等。使用这些客户端来构建与 OpenSearch 直接集成的应用程序。

如何计费

目前产品处于公测阶段,免费使用。公测期间,可购买的实例规格有所限制,如您有特定需求,欢迎通过销售团队与我们联系。

我可以在哪里找到有关开源 OpenSearch 客户端及 API 兼容性的更多信息?

请查阅开源 OpenSearch-常见问题