添加并使用Elasticsearch数据源

可观测可视化 Grafana 版已集成阿里云检索分析服务Elasticsearch版,通过Elasticsearch插件,可以实现Elasticsearch数据同步并实时呈现在Grafana大盘中。本文介绍如何通过公网地址将Elasticsearch数据添加至Grafana,并使用Elasticsearch数据源创建大盘面板。

背景信息

检索分析服务Elasticsearch版是基于开源Elasticsearch构建的全托管云服务,100%兼容开源功能的同时,支持开箱即用、按需付费。不仅提供云上开箱即用的Elasticsearch、Logstash、Kibana、Beats在内的Elastic Stack生态组件,还与Elastic官方合作提供免费X-Pack(白金版高级特性)商业插件,集成了安全、SQL、机器学习、告警、监控等高级特性,被广泛应用于实时日志分析处理、信息检索,以及数据的多维查询和统计分析等场景。更多信息,请参见什么是阿里云Elasticsearch

步骤一:配置公网白名单

在阿里云Elasticsearch控制台上将Grafana连接IP添加为白名单。

  1. 登录阿里云Elasticsearch控制台
  2. 在左侧导航栏,选择Elastic Stack云原生Paas版本 > Elasticsearch实例

  3. 进入目标实例。
    1. 在顶部菜单栏处,选择资源组和地域。
    2. Elasticsearch实例中单击目标实例ID。
  4. 在左侧导航栏,选择配置与管理 > 安全配置

  5. 集群网络设置区域,单击公网地址访问白名单右侧的修改,配置IP白名单的相关信息。

    说明

    配置公网地址访问白名单时,请确认已打开公网地址开关(默认关闭),再进行如下操作。

    1. 修改公网访问白名单面板,单击default白名单右侧的配置

    2. 新增IP白名单分组对话框的白名单内IP地址区域输入Grafana的连接IP地址。

      说明

      您可以在可观测可视化 Grafana 版控制台的工作区信息页面获取Grafana的连接IP,具体操作,请参见查看工作区信息

    3. 单击确认

步骤二:登录Grafana

  1. 登录可观测可视化 Grafana 版控制台,在左侧导航栏单击工作区管理

  2. 工作区管理页面,单击目标工作区右侧的访问地址URL链接进入Grafana。

    说明

    如果需要登录Grafana,可以使用Grafana的Admin账号和创建工作区时设置的密码登录Grafana,或者单击Sign in with Alibaba Cloud直接使用当前购买工作区的阿里云账号登录Grafana。

步骤三:添加数据源

Grafana 9.0.x版本

  1. 在Grafana左侧导航栏,选择image > Data sources,然后单击Add data source

  2. Add data source页面的搜索框搜索并单击Elasticsearch

  3. Settings页面设置以下参数。

    配置项

    参数

    描述

    示例

    Name

    数据源名称,可自定义。

    Elasticsearch数据源

    HTTP

    URL

    Elasticsearch的连接地址,格式为http://{Elasticsearch地址}:9200

    说明

    具体操作,请参见查看实例的基本信息

    http://es-cn-xxxxxxxxx.public.elasticsearch.aliyuncs.com:9200

    Auth

    Basic auth

    打开Basic auth开关,然后填写Basic Auth Details

    Basic Auth Details

    User

    填写Elasticsearch实例的用户名。

    elastic

    Password

    填写Elasticsearch实例的访问密码。

    说明

    如果您忘记了Elasticsearch实例的访问密码,您可以在阿里云Elasticsearch控制台配置与管理 > 安全配置页面重置Elasticsearch实例的访问密码。

    Elasticsearch details

    Index name

    填写Elasticsearch实例中创建的Index名称。

    说明
    • 如果您的ES实例中暂未创建Index,您可以暂时填写ES自监控的Index,用于检测Grafana是否可以成功访问您的ES实例。ES自监控的Index名称为.monitoring-es-7-2022.01.11,其中名称后的日期请填写近两天的,否则可能没有数据。同时确保该日期是ES实例创建以后的日期。

    • 更多信息,请参见Grafana官方文档

    .monitoring-es-7-2022.01.11

    Time field name

    填写Index中对应的时间戳field。

    说明

    如果您使用的是Index name参数说明中提到的ES自监控的Index,对应的Time field为timestamp

    timestamp

    ElasticSearch version

    填写Elasticsearch版本。

    说明

    Elasticsearch版本需要和阿里云Elasticsearch控制台实例基本信息页面展示的版本一致。

    7.10+

    image

  4. 单击Save & Test

    当页面显示Index OK. Time field name OK.时,表示Elasticsearch数据已成功添加至Grafana。更多配置信息,请参见Grafana官方文档

Grafana 10.0.x版本

  1. 在Grafana首页,单击页面左上角的image图标。

  2. 在Grafana左侧导航栏,选择管理 > 数据源

  3. 数据源页签,单击+ Add new data source

  4. 数据源页面的搜索框搜索并单击Elasticsearch

  5. Settings页面设置以下参数。

    配置项

    参数

    描述

    示例

    Name

    数据源名称,可自定义。

    Elasticsearch数据源

    HTTP

    URL

    Elasticsearch的连接地址,格式为http://{Elasticsearch地址}:9200

    说明

    具体操作,请参见查看实例的基本信息

    http://es-cn-xxxxxxxxx.public.elasticsearch.aliyuncs.com:9200

    Auth

    Basic auth

    打开Basic auth开关,然后填写Basic Auth Details

    Basic Auth Details

    User

    填写Elasticsearch实例的用户名。

    elastic

    Password

    填写Elasticsearch实例的访问密码。

    说明

    如果您忘记了Elasticsearch实例的访问密码,您可以在阿里云Elasticsearch控制台实例的配置与管理 > 安全配置页面重置Elasticsearch实例的访问密码。

    Elasticsearch details

    Index name

    填写Elasticsearch实例中创建的Index名称。

    说明
    • 如果您的ES实例中暂未创建Index,您可以暂时填写ES自监控的Index,用于检测Grafana是否可以成功访问您的ES实例。ES自监控的Index名称为.monitoring-es-7-2022.01.11,其中名称后的日期请填写近两天的,否则可能没有数据。同时确保该日期是ES实例创建以后的日期。

    • 更多信息,请参见Grafana官方文档

    .monitoring-es-7-2022.01.11

    Time field name

    填写Index中对应的时间戳field。

    说明

    如果您使用的是Index name参数说明中提到的ES自监控的Index,对应的Time field为timestamp

    timestamp

    image

  6. 单击Save & Test

    当页面显示Data source is working时,表示云监控数据已成功添加至Grafana。

步骤四:创建大盘面板

Grafana 9.0.x版本

  1. 在Grafana左侧导航栏,单击image图标,然后单击页面右上角的New Dashboard

  2. New Dashboard页面,单击Add a new panel

  3. Edit Panel页面的Query页签,单击Data source区域的下拉框选择步骤三添加的数据源。

    例如,如果您想配置一个浏览日志列表和明细的面板,您可以选择MetricLogs,在右上角的Visualization中选择Logs

    image

  4. 单击右上角的Apply

  5. 单击右上角的保存监控大盘图标,设置监控大盘的名称和归属目录。

  6. 单击Save,大盘即可创建成功。

Grafana 10.0.x版本

  1. 在Grafana首页,单击页面左上角的image图标。

  2. 在Grafana左侧导航栏,选择仪表板,单击页面右上角的新建,然后在下拉列表中单击新建仪表板

  3. 新建仪表板页面,单击+ 添加可视化

  4. 在弹出的Select data source页面的右侧,选择步骤三添加的数据源。

    例如,如果您想配置一个浏览日志列表和明细的面板,您可以选择MetricLogs,在右上角的Visualization中选择Logs

    image

  5. 单击右上角的Apply

  6. 单击右上角的保存监控大盘图标,设置监控大盘的名称和归属目录。

  7. 单击Save,大盘即可创建成功。

步骤五:查看监控数据

Grafana 9.0.x版本

  1. 在Grafana左侧导航栏,单击image图标,然后单击Browse

  2. Browse页签,单击目标目录下的监控大盘,即可查看目标大盘上的所有监控图表。

Grafana 10.0.x版本

  1. 在Grafana首页,单击页面左上角的image图标。

  2. 在Grafana左侧导航栏,选择仪表板,单击目标目录下的监控大盘,即可查看目标大盘上的所有监控图表。