通过 Prometheus 监控 OceanBase 数据

背景信息

OBCloud Exporter 是云数据库 OceanBase 提供的一款数据库数据处理工具，可通过该工具完成 OceanBase 数据库的鉴权和数据获取。再结合本地 Prometheus 工具对数据库进行相应的监控。

下文通过系统直接部署和通过 docker 部署两种方式说明相应的工具使用方法。

前提条件

1. 已部署 Java 8 及以上的运行环境。

2. 已完成 Docker 部署。

系统运行 Prometheus 监控 OceanBase 云数据

1. 下载 OBCloud Exporter。

   说明

   目前 OBCloud Exporter 暂未放开直接下载，可联系技术支持人员获取。

2. 部署 OBCloud Exporter。

   1. 解压 OBCloud Exporter 安装包，安装目录为 /opt/obcloud-exporter。

      mkdir /opt/obcloud-exporter
      unzip Obcloud_Exporter.zip -d /opt/obcloud-exporter

      解压后目录包含如下文件：

      • Dockerfile：Docker 容器构建文件。

      • muticloud_metric_config.yaml：指标配置文件，此文件默认不需要修改。

      • application.yaml：采集配置文件。

      • obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar：OBCloud Exporter 程序。

      • readme.md：项目说明。

   2. 编辑配置文件 application.yaml。

      aliyun_monitor:
        ## 身份凭据
        credential:
          access_key_id: xxx
          access_key_secret: xx
          region_id: ap-southeast-1
          end_point: xxx
        metric_meta_auto_refresh: false
        default_metric:
          - sql_all_rt
          - sql_delete_rt
        ## 实例信息
        instances:
          instance_id: xxx
          tenant_id: xxx
          instance_type: cluster
          metrics: 
            - sql_all_rt
            - sql_delete_rt

      参数说明：

      参数名称	是否必填	参数描述	示例值
      access_key_id	是	鉴权信息，访问 我的账号 > AccessKey 获取，可在对应平台申请。具体操作，请参见，创建AccessKey。	************
      access_key_secret	是	鉴权信息，访问 我的账号 > AccessKey 获取，可在对应平台申请。具体操作，请参见，创建AccessKey。	************
      region_id	是	地域信息，请参见 公有云服务区域说明。	ap-southeast-1
      end_point	是	终端地址，请参见 公有云服务区域说明。	oceanbasepro.ap-southeast-1.aliyuncs.com
      metric_meta_auto_refresh	否	是否定时刷新 metric 指标，默认为 false。	false
      default_metric	否	默认指标，当没有配置 instances 指定采集的实例和指标时，可通过 default_metric 控制账号下所有实例采集指定的指标。	- sql_all_rt
      instance_id	否	集群实例 ID 或租户实例 ID。可包含多个集群、租户实例，通过短划线（-）并列填入。	ob************
      tenant_id	否	查询集群下指定租户，需配置 tenant_id, instance_type=cluster 时可以不配置。 当实例为租户实例时，需 instance_id 和 tenant_id 都配置相同的实例 ID，并且指定 instance_type 为 tenant。	t************
      instance_type	否	实例类型： cluster：集群主机维度监控指标，并且会自动采集集群下所有租户的监控数据。 tenant：租户数据库维度指标。	tenant
      metrics	否	指标信息，默认为采集全部指标。具体指标清单，请参见本文 监控指标清单 章节。 说明 采集指标过多可能会影响采集速度，适当情况下拆分为多个 exporter。	- sql_all_rt

3. 通过 Java 运行 OBCloud Exporter。

   1. 可以通过如下命令，指定配置文件启动 OBCloud Exporter。

      java -Dconfig=/xx/application.yaml -jar obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar --spring.config.location=/xx/application.properties

      • -Dconfig：（可选）指定监控配置文件启动。

      • --spring.config.location：（可选）程序默认集成并开启了 SpringBoot 的 actuator 组件，默认端口为 8082，实际使用中也可以自行配置，根据实际配置的地址端口进行访问。默认配置为：

        server.port=-1
        management.server.port=8082
        management.endpoints.web.exposure.include=health,info
        management.endpoint.health.show-details=always

        常见示例：

        # 默认配置启动 OBCloud Exporter
        java -jar obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar
        # 指定环境配置变量启动 OBCloud Exporter
        java -jar obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar --spring.config.location=/xx/application.properties
        # 指定监控配置文件启动 OBCloud Exporter
        java -Dconfig=/xx/application.yaml -jar obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar
        # 同时指定监控配置文件和环境变量配置启动 OBCloud Exporter
        java -Dconfig=/xx/application.yaml -jar obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar --spring.config.location=/xx/application.properties

   2. 通过浏览器验证部署结果，访问对应 IP 地址的 9400 端口，确认是否获取到监控数据。

      说明

      实际使用中，根据实际配置的地址端口进行访问。

4. 下载 Prometheus 软件，在官网找到所需版本的 Prometheus 安装包，进行下载，如下以 2.50.1 的 Linux 版本为例。

   wget https://github.com/prometheus/prometheus/releases/download/v2.50.1/prometheus-2.50.1.linux-amd64.tar.gz

5. 部署 Prometheus。

   1. 解压并安装 Prometheus 软件，安装目录为 /opt/prometheus。

      mkdir -p /opt/prometheus
      tar -zxvf prometheus-2.50.1.linux-amd64.tar.gz -C /opt/prometheus --strip-components=1

   2. 转移配置文件 prometheus.yml 到工作目录，并根据需要进行编辑。

      mv /opt/prometheus/prometheus.yml /usr/local/bin/
      vi /usr/local/bin/prometheus.yml

      修改如下参数：

      global:
        scrape_interval: 30s
        scrape_timeout: 20s
      
      scrape_configs:
        - job_name: "nodes"
          static_configs:
          - targets: ['localhost:9400']

   3. 新建 Prometheus 服务文件和相关数据存储目录。

      mkdir /var/lib/prometheus/
      sudo vim /etc/systemd/system/Prometheus.service

      填写如下内容并保存。

      说明

      User（用户）和 Group（用户组）参数是可选的，设置方法请参考下一步骤 设置用户名和用户组。

      [Unit]
      Description=Prometheus
      Wants=network-online.target
      After=network-online.target
      
      [Service]
      User=prometheus
      Group=prometheus
      Restart=on-failure
      ExecStart=/opt/prometheus/prometheus \
            --config.file /usr/local/bin/prometheus.yml \
            --storage.tsdb.path /var/lib/prometheus/
      
      [Install]
      WantedBy=multi-user.target

   4. （可选）设置用户名和用户组，上一步骤中配置已有的用户/用户组或者没有配置，可忽略此步骤。

      sudo groupadd prometheus
      sudo useradd -r -g prometheus prometheus
      sudo chown -R prometheus:prometheus /opt/prometheus /var/lib/prometheus
      sudo chmod -R 755 /opt/prometheus /var/lib/prometheus

6. 启动 Prometheus 服务。

   # 加载新的 systemd 配置
   sudo systemctl daemon-reload
   
   # 启动 Prometheus 服务
   sudo systemctl start prometheus
   
   # 设置开机启动
   sudo systemctl enable prometheus
   
   # 检查服务状态
   sudo systemctl status prometheus

7. 确认 Prometheus 是否启动成功。

    sudo netstat -ntlp | grep 9090

通过 docker 部署 prometheus 监控 OceanBase 云数据库

1. 下载 OBCloud Exporter。

   说明

   目前 OBCloud Exporter 暂未放开直接下载，可联系技术支持人员获取。

2. 部署 OBCloud Exporter。

   1. 解压 OBCloud Exporter 安装包，安装目录为 /opt/obcloud-exporter。

      mkdir /opt/obcloud-exporter
      unzip Obcloud_Exporter.zip -d /opt/obcloud-exporter

      解压后目录包含如下文件：

      • Dockerfile：Docker 容器构建文件。

      • muticloud_metric_config.yaml：指标配置文件，此文件默认不需要修改。

      • application.yaml：采集配置文件。

      • obcloud-exporter-1.0-SNAPSHOT-jar-with-dependencies.jar：OBCloud Exporter 程序。

      • readme.md：项目说明。

   2. 编辑配置文件 application.yaml。

      aliyun_monitor:
        ## 身份凭据
        credential:
          access_key_id: xxx
          access_key_secret: xx
          region_id: ap-southeast-1
          end_point: xxx
        metric_meta_auto_refresh: false
        default_metric:
          - sql_all_rt
          - sql_delete_rt
        ## 实例信息
        instances:
          instance_id: xxx
          tenant_id: xxx
          instance_type: cluster
          metrics: 
            - sql_all_rt
            - sql_delete_rt

      参数说明：

      参数名称	是否必填	参数描述	示例值
      access_key_id	是	鉴权信息，访问 我的账号 > AccessKey 获取，可在对应平台申请。具体操作，请参见，创建AccessKey。	************
      access_key_secret	是	鉴权信息，访问 我的账号 > AccessKey 获取，可在对应平台申请。具体操作，请参见，创建AccessKey。	************
      region_id	是	地域信息，请参见 公有云服务区域说明。	ap-southeast-1
      end_point	是	终端地址，请参见 公有云服务区域说明。	oceanbasepro.ap-southeast-1.aliyuncs.com
      metric_meta_auto_refresh	否	是否定时刷新 metric 指标，默认为 false。	false
      default_metric	否	默认指标，当没有配置 instances 指定采集的实例和指标时，可通过 default_metric 控制账号下所有实例采集指定的指标。	- sql_all_rt
      instance_id	否	集群实例 ID 或租户实例 ID。可包含多个集群、租户实例，通过短划线（-）并列填入。	ob************
      tenant_id	否	查询集群下指定租户，需配置 tenant_id, instance_type=cluster 时可以不配置。 当实例为租户实例时，需 instance_id 和 tenant_id 都配置相同的实例 ID，并且指定 instance_type 为 tenant。	t************
      instance_type	否	实例类型： cluster：集群主机维度监控指标，并且会自动采集集群下所有租户的监控数据。 tenant：租户数据库维度指标。	tenant
      metrics	否	指标信息，默认为采集全部指标。具体指标清单，请参见本文 监控指标清单 章节。 说明 采集指标过多可能会影响采集速度，适当情况下拆分为多个 exporter。	- sql_all_rt

3. 通过 Docker 启动 OBCloud Exporter。

   1. 在/opt/obcloud-exporter目录下，构建 obcloud-exporter 容器。

      cd /opt/obcloud-exporter
      docker build -t obcloud-exporter:1.0 .

   2. 启动容器或者映射外部配置文件启动。

      1. 直接启动 Docker 容器

         docker run -itd -p9400:9400 --name obcloud-exporter obcloud-exporter:1.0

      2. 通过映射外部配置文件启动 Docker 容器。

         docker run -itd -p9400:9400 -v /opt/obcloud-exporter/application.yaml:/app/application.yaml --name obcloud-exporter obcloud-exporter:1.0

4. 通过浏览器验证部署结果，访问对应 IP 地址的 9400 端口，确认是否获取到监控数据。

   说明

   实际使用中，根据实际配置的地址端口进行访问。

5. 创建 Prometheus 配置文件 prometheus.yml。

   vi /usr/local/bin/prometheus.yml

   编辑配置文件内容：

   global:
     scrape_interval: 30s
     evaluation_interval: 30s
   
   scrape_configs:
     - job_name: obcloud-exporter-test
       static_configs:
           # 本地服务器加端口
         - targets: ['obcloud-exporter:9400']
           labels:
             instance: obcloud-exporter

6. 启动 Prometheus 服务。

    docker run  -d \
      -p 9090:9090 \
      -v /usr/local/bin/prometheus.yml:/etc/prometheus/prometheus.yml  \
      --link obcloud-exporter  \
      --name prometheus \
      prom/prometheus

7. 确认 Prometheus 是否启动成功。

   sudo netstat -ntlp | grep 9090

通过 Prometheus 查看数据库监控

通过浏览器访问 Prometheus 服务地址：http://localhost:9090/targets，查看相应的监控信息。

配置示例

动态获取账号下实例

• 采集所有指标

  ## 监控名称
  monitor:
    ## 身份凭据
    credential:
      access_key_id: xxx
      access_key_secret: xx
      region_id: ap-southeast-1
      ## 终端地址
      end_point: xxx
    metric_meta_auto_refresh: false

• 采集指定指标

  ## 监控名称
  monitor:
    ## 身份凭据
    credential:
      access_key_id: xxx
      access_key_secret: xx
      region_id: ap-southeast-1
      ## 终端地址
      end_point: xxx
    metric_meta_auto_refresh: false
    ## 默认指标，当没有配置instances自动获取实例时，可通过 default_metric 指定采集的指标
    default_metric:
      - sql_all_rt
      - sql_delete_rt

采集账号下指定的集群

• 采集所有指标，instance_type 值设定为 cluster 时，可同时采集集群的主机指标和租户数据库指标。

  ## 监控名称
  monitor:
    ## 身份凭据
    credential:
      access_key_id: xxx
      access_key_secret: xx
      region_id: ap-southeast-1
      end_point: xxx
    metric_meta_auto_refresh: false
    instances:
        instance_id: xxx
        instance_type: cluster

• 采集租户数据库所有指标，instance_type 值设定为 tenant 时，只采集指定租户的租户数据库指标。

  ## 监控名称
  monitor:
    ## 身份凭据
    credential:
      access_key_id: xxx
      access_key_secret: xx
      region_id: ap-southeast-1
      end_point: xxx
    metric_meta_auto_refresh: false
    instances:
        instance_id: xxx
        tenant_id: xx
        instance_type: tenant

• 采集指定的指标，可根据实际情况选择 instance_type。

  ## 监控名称
  monitor:
    ## 身份凭据
    credential:
      access_key_id: xxx
      access_key_secret: xx
      region_id: ap-southeast-1
      end_point: xxx
    metric_meta_auto_refresh: false
    instances:
        instance_id: xxx
        tenant_id: xxx
        instance_type: tenant
        metrics: 
          - sql_all_rt
          - sql_delete_rt

采集多个账号

## 监控名称
aliyun:
  ## 身份凭据
  credential:
    access_key_id: xxx
    access_key_secret: xx
    region_id: ap-southeast-1
    end_point: xxx
  metric_meta_auto_refresh: false
muti:
  ## 身份凭据
  credential:
    access_key_id: xxx
    access_key_secret: xx
    end_point: xxx

监控指标清单

集群主机

租户数据库

性能与 SQL

事务

存储与缓存