您可以通过ARMS Prometheus监控查看ACK预先配置的监控大盘和监控性能指标。本文为您介绍如何在ACK中接入ARMS Prometheus监控，如何配置Prometheus监控报警及如何自定义Prometheus监控指标并通过Grafana展示。

背景信息

ARMS Prometheus监控全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘，且提供全面托管的Prometheus服务。借助ARMS Prometheus监控，您无需自行搭建Prometheus监控系统，因而无需关心底层数据存储、数据展示、系统运维等问题。

有关ARMS Prometheus监控的更多信息，请参见什么是Prometheus监控。

开启ARMS Prometheus监控

方式一：创建集群时开启

在创建集群的组件配置页面，选中使用Prometheus监控服务。具体操作，请参见创建Kubernetes托管版集群。使用Prometheus监控
说明
  • 在创建集群时，系统默认选中使用Prometheus监控服务。
  • 集群创建完成，系统将自动配置ARMS Prometheus监控服务。

方式二：在已有集群中开启

  1. 登录容器服务管理控制台，在左侧导航栏中选择集群。
  2. 在集群列表页面中，单击目标集群名称，然后在左侧导航栏中，选择运维管理 > Prometheus监控。
  3. 在Prometheus监控页面，单击开始安装。
    控制台会自动安装组件、检查监控大盘。安装完成后，单击各个页签查看相应监控数据。

查看ARMS Prometheus Grafana大盘

在Promethues监控页面，单击需要查看的Grafana监控大盘名，即可查看相应的监控数据。

配置Prometheus监控报警

为监控任务创建报警可在满足报警条件时通过邮件、短信、钉钉等渠道实时报警，主动帮助您发现异常。报警规则被触发时会向您指定的联系人分组发送通知，而在创建联系人分组之前必须先创建联系人。创建联系人时，您可以指定联系人用于接收通知的手机号码和邮箱地址，也可以提供用于自动发送报警通知的钉钉机器人地址。
说明 如需将钉钉机器人添加为联系人，则需要先获取钉钉机器人的地址。具体操作，请参见设置钉钉机器人报警。
  1. 登录ARMS控制台。
  2. 在控制台左侧导航栏，选择告警管理 > 联系人。
  3. 在联系人页签，单击右上角的新建联系人。配置联系人信息，然后单击确认。
  4. 配置报警规则。
    1. 登录ARMS控制台。
    2. 在控制台左侧导航栏选择Prometheus监控 > Prometheus实例列表。
    3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
    4. 在左侧导航栏单击报警配置。
    5. 在报警规则说明列表单击对应报警操作列的编辑，输入PromQL语句配置报警规则，配置完成后单击确定，可直接开启预置的报警规则。
      关于PromQL语句的配置，请参见快速创建ARMS报警（旧版）。
    说明 报警规则也可在ARMS控制台的报警管理 > 报警策略管理进行管理。

    验证结果

    进行手动测试，触发钉钉告警。正常触发告警如下：监控告警

自定义Prometheus监控指标并通过Grafana展示

方式一：通过Annotations自定义指标监控

通过给Deployment Pod Template加入Annotations的方式自定义监控，阿里云ARMS应用监控组件将会使ARMS Prometheus监控自动获取Pod自定义指标。

  1. 登录容器服务管理控制台，在左侧导航栏中选择集群。
  2. 在集群列表页面中，单击目标集群名称，然后在左侧导航栏中，选择工作负载 > 无状态。
  3. 在无状态页面中，创建应用。
    1. 单击使用镜像创建。
    2. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
    3. 创建一个Web应用，暴露5000端口。
      以镜像yejianhonghong/pindex为示例。容器配置
    4. 单击下一步。
    5. 给Pod添加ARMS相关的Annotations。
      prometheus.io/port表示Prometheus要scrape的endpoint端口，prometheus.io/path表示Prometheus要scrape的endpoint路径。标签和注解
    6. 单击创建，完成应用创建。
  4. 在服务页面创建服务。
    1. 在集群管理页左侧导航栏中，选择网络 > 服务。
    2. 单击服务页面右上角的创建。
    3. 在类型中选择负载均衡型服务及公网访问。
    4. 在关联中选择步骤4创建的应用。
    5. 单击创建，完成服务创建。
    具体操作，请参见创建服务。
  5. 配置自定义指标。
    1. 登录ARMS控制台。
    2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
    3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
    4. 在左侧导航栏单击服务发现，然后单击Targets页签，可以看到自定义的指标已经配置成功。
      自定义指标
  6. 访问步骤5所创建服务暴露出来的公网IP，增加指标值。
    具体指标的配置，请参见DATA MODEL。增加指标值
  7. 单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal ，选择Graph类型，将Metrics填写为current_person_counts。
  8. 保存配置即可观察到自定义指标的Grafana图形。
    Grafana

方式二：通过ServiceMonitor自定义指标监控

通过ServiceMonitor方式自定义指标监控在部署的时候不需要配置Annotations，但是要给Service对象添加标签。

  1. 登录容器服务管理控制台，在左侧导航栏中选择集群。
  2. 在集群列表页面中，单击目标集群名称，然后在左侧导航栏中，选择工作负载 > 无状态。
  3. 在无状态页面中，创建应用。
    1. 单击使用镜像创建。
    2. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
    3. 创建一个Web应用，暴露5000端口。
      以镜像yejianhonghong/pindex为示例。容器配置
    4. 单击创建，完成应用创建。
  4. 在服务页面创建服务。
    1. 在集群管理页左侧导航栏中，选择网络 > 服务。
    2. 单击服务页面右上角的创建。
    3. 在类型中选择负载均衡型服务及公网访问。
    4. 在关联中选择步骤4创建的应用。
    5. 添加标签。
      该标签将被用于ServiceMonitor的selector。创建服务
    6. 单击创建，完成服务创建。
    具体操作，请参见创建服务。
  5. 使Prometheus获得服务Scape Endpioint。
    1. 登录ARMS控制台。
    2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
    3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
    4. 在左侧导航栏单击服务发现，然后单击配置页签。
    5. 在配置页签下单击ServiceMonitor。
    6. 在ServiceMonitor页签下单击添加ServiceMonitor创建ServiceMonitor。
      模板文件如下所示。
      apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  #填写一个唯一名称。
  name: custom-metrics-pindex
  #填写目标命名空间。
  namespace: default
spec:
  endpoints:
  - interval: 30s
    #填写service.yaml中对应的Port的Name字段的值（参考上图）。
    port: web
    #填写Service对应的Path的值。
    path: /access
  namespaceSelector:
    any: true
    #Nginx Demo的命名空间。
  selector:
    matchLabels:
      #填写service.yaml的Label字段的值以定位目标service.yaml。
      app: custom-metrics-pindex

      单击确定完成ServiceMonitor创建。

    7. 在Targets页签，可见Prometheus已经获得服务Scape Endpioint。
      Scape Endpioint
      说明 这里ServiceMonitor定义比Annotations方式更直观，指出了Namespace和Service名称。
  6. 访问步骤5创建的服务暴露出来的公网IP，增加指标值。
    关于指标的配置，请参见DATA MODEL。增加指标值
  7. 单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal，选择Graph类型，将Metrics填写为current_person_counts。
  8. 保存配置即可观察到自定义指标的Grafana图形。
    Grafana

常见问题

如何查看ARMS Prometheus组件版本？

  1. 登录容器服务管理控制台，在左侧导航栏中选择集群。
  2. 在集群列表页面中，单击目标集群名称，然后在左侧导航栏中，选择运维管理 > 组件管理。
  3. 在组件管理页面，单击日志与监控页签，找到ack-arms-prometheus组件。
    在组件下方显示当前版本信息，如有新版本需要升级，可单击版本右侧升级完成组件升级。
    说明 当已安装的组件版本不是最新版本时，才会显示升级操作。

为什么GPU监控无法部署？

如果您的GUP节点上存在污点，可能导致GPU监控无法部署。您可以通过以下步骤查看GPU节点的污点情况。

  1. 执行以下命令，查看目标GPU节点的污点情况。
    如果您的GPU节点拥有自定义的污点，可找到污点相关的条目。本文以key为test-key、value为test-value、effect为NoSchedule为例说明：
    kubectl describe node cn-beijing.47.100.***.***

    预期输出：

    Taints:test-key=test-value:NoSchedule
  2. 通过以下两种方式处理GPU节点的污点。
    • 执行以下命令，删除GPU节点的污点。
      kubectl taint node cn-beijing.47.100.***.*** test-key=test-value:NoSchedule-
    • 对GPU节点的污点进行容忍度声明，允许Pod调度到该污点的节点上。
      # 1.执行以下命令，编辑ack-prometheus-gpu-exporter。
kubectl edit daemonset -n arms-prom ack-prometheus-gpu-exporter

# 2. 在YAML中添加如下字段，声明对污点的容忍度。
#省略其他字段。
#tolerations字段添加在containers字段上面，且与containers字段同级。
tolerations:
- key: "test-key"
  operator: "Equal"
  value: "test-value"
  effect: "NoSchedule"
containers:
 #省略其他字段。

删除ARMS Prometheus的命名空间后，为什么重新安装ARMS Prometheus会失败？

只删除ARMS Prometheus的命名空间，会导致资源删除后有残留配置，影响再次安装。您可以执行以下操作，删除残余配置。

  • 删除ClusterRole。
    kubectl delete ClusterRole arms-kube-state-metrics
kubectl delete ClusterRole arms-node-exporter
kubectl delete ClusterRole arms-prom-ack-arms-prometheus-role
kubectl delete ClusterRole arms-prometheus-oper3
kubectl delete ClusterRole arms-prometheus-ack-arms-prometheus-role
kubectl delete ClusterRole arms-pilot-prom-k8s
  • 删除ClusterRoleBinding。
    kubectl delete ClusterRoleBinding arms-node-exporter
kubectl delete ClusterRoleBinding arms-prom-ack-arms-prometheus-role-binding
kubectl delete ClusterRoleBinding arms-prometheus-oper-bind2
kubectl delete ClusterRoleBinding kube-state-metrics
kubectl delete ClusterRoleBinding arms-pilot-prom-k8s
kubectl delete ClusterRoleBinding arms-prometheus-ack-arms-prometheus-role-binding
  • 删除Role及RoleBinding。
    kubectl delete Role arms-pilot-prom-spec-ns-k8s
kubectl delete Role arms-pilot-prom-spec-ns-k8s -n kube-system
kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s
kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s -n kube-system