ARMS Prometheus监控

开启ARMS Prometheus监控

您可以通过以下三种方式开启ARMS Prometheus监控：

通过ACK控制台配置集群参数开启Prometheus监控

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，单击集群。
3. 在集群列表页面中，单击页面右上角的创建集群。
4. 选择目标集群模板，然后配置创建集群参数。在组件配置页面，选中使用Prometheus监控服务。
   关于创建集群的具体步骤，请参见创建Kubernetes托管版集群。

   说明 在创建集群时，系统默认选中使用Prometheus监控服务。
   集群创建完成后，系统将自动配置ARMS Prometheus监控服务。

通过ACK控制台Prometheus监控开启Prometheus监控

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，单击集群。
3. 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。
4. 在集群管理左侧导航栏中，选择运维管理 > Prometheus监控。
5. 在Prometheus监控页面，控制台自动安装组件、检查监控大盘。安装完成后，单击各个页签查看相应监控数据。

通过ACK控制台应用目录开启ARMS Prometheus监控

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，选择市场 > 应用市场。
3. 在应用市场页面单击应用目录页签，然后搜索并单击ack-arms-prometheus。
4. 在ack-arms-prometheus页面，单击一键部署。
5. 在一键部署面板中，选择集群和命名空间，然后单击下一步。
   说明 命名空间和发布名称默认为arms-prom。
6. 在参数配置页面，设置相应参数，然后单击确定。

执行结果

安装完成后会自动跳转到应用arms-prom页面，可查看应用信息。

查看GPU节点的污点情况

如果您的GPU节点上存在污点，可能会导致GPU监控无法部署。您可以通过以下步骤查看GPU节点的污点情况。更多信息，请参见污点和容忍度。

1. 执行以下命令，查看目标GPU节点的污点情况。

   kubectl describe node cn-beijing.47.100.XX.XX

   如果您的GPU节点拥有自定义的污点，可在描述中找到污点相关的条目。本文以key为test-key、value为test-value、effect为NoSchedule为例，污点示例如下：

   Taints: test-key=test-value:NoSchedule

2. 对GPU节点的污点进行删除或添加容忍度操作。您可以选择以下任一方式进行操作。
   • 执行以下命令，删除GPU节点的污点。

     kubectl taint node cn-beijing.47.100.XX.XX test-key=test-value:NoSchedule-

   • 对污点进行容忍度声明，允许Pod调度到该污点的节点上。
     1. 执行以下命令，编辑ack-prometheus-gpu-exporter。

        kubectl edit daemonset -n arms-prom ack-prometheus-gpu-exporter

     2. 在YAML中添加如下字段，声明对污点的容忍度。

        #省略其他字段。
        #tolerations字段添加在containers字段上面，且与containers字段同级。
        tolerations:
        - key: "test-key"
          operator: "Equal"
          value: "test-value"
          effect: "NoSchedule"
        containers:
         #省略其他字段。

查看ARMS Prometheus Grafana大盘

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，单击集群。
3. 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。
4. 在集群管理页左侧导航栏中，选择运维管理 > Prometheus监控。
5. 在Promethues监控页面，单击需要查看的Grafana监控大盘名，即可查看相应的监控数据。

配置Prometheus监控报警

1. 登录ARMS控制台。
2. 在控制台左侧导航栏，选择告警管理 > 联系人。
3. 在联系人页签，单击右上角的新建联系人。配置联系人信息，然后单击确认。
4. 配置报警规则。
   1. 登录ARMS控制台。
   2. 在控制台左侧导航栏选择Prometheus监控 > Prometheus实例列表。
   3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
   4. 在左侧导航栏单击报警配置。
   5. 在报警规则说明列表单击对应报警操作列的编辑，输入PromQL语句配置报警规则，配置完成后单击确定，可直接开启预置的报警规则。
      关于PromQL语句的配置，请参见快速创建ARMS报警（旧版）。
   说明 报警规则也可在ARMS控制台的报警管理 > 报警策略管理进行管理。

   验证结果

   进行手动测试，触发钉钉告警。正常触发告警如下：

自定义Prometheus监控指标并通过Grafana展示

方式一：通过Annotations自定义指标监控

通过给Deployment Pod Template加入Annotations的方式自定义监控，阿里云ARMS应用监控组件将会使ARMS Prometheus监控自动获取Pod自定义指标。

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，单击集群。
3. 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。
4. 在集群管理页左侧导航栏中，选择工作负载 > 无状态。
5. 在无状态页面中，创建应用。
   1. 单击使用镜像创建。
   2. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
   3. 创建一个Web应用，暴露5000端口。
      以镜像yejianhonghong/pindex为示例。
   4. 单击下一步。
   5. 给Pod添加ARMS相关的Annotations。
      prometheus.io/port表示Prometheus要scrape的endpoint端口，prometheus.io/path表示Prometheus要scrape的endpoint路径。
   6. 单击创建，完成应用创建任务。
6. 在服务页面创建服务。
   1. 在集群管理页左侧导航栏中，选择网络 > 服务。
   2. 单击服务页面右上角的创建。
   3. 在类型中选择负载均衡型服务及公网访问。
   4. 在关联中选择步骤4创建的应用。
   5. 单击创建，完成服务创建任务。
   具体操作，请参见创建服务。
7. 配置自定义指标。
   1. 登录ARMS控制台。
   2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
   3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
   4. 在左侧导航栏单击服务发现，然后单击Targets页签，可以看到自定义的指标已经配置成功。
      
8. 访问步骤5所创建服务暴露出来的公网IP，增加指标值。
   具体指标的配置，请参见DATA MODEL。
9. 单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal ，选择Graph类型，将Metrics填写为current_person_counts。
10. 保存配置即可观察到自定义指标的Grafana图形。
    

方式二：通过ServiceMonitor自定义指标监控

通过ServiceMonitor方式自定义指标监控在部署的时候不需要配置Annotations，但是要给Service对象添加标签。

1. 登录容器服务管理控制台。
2. 在控制台左侧导航栏中，单击集群。
3. 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。
4. 在无状态页面中，创建应用。
   1. 在集群管理页左侧导航栏中，选择工作负载 > 无状态。
   2. 单击使用镜像创建。
   3. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
   4. 创建一个Web应用，暴露5000端口。
      以镜像yejianhonghong/pindex为示例。

      单击下一步。

   5. 单击创建，完成应用创建任务。
5. 在服务页面创建服务。
   1. 在集群管理页左侧导航栏中，选择网络 > 服务。
   2. 单击服务页面右上角的创建。
   3. 在类型中选择负载均衡型服务及公网访问。
   4. 在关联中选择步骤4创建的应用。
   5. 添加标签。
      该标签将被用于ServiceMonitor的selector。
   6. 单击创建，完成服务创建任务。
   具体操作，请参见创建服务。
6. 使Prometheus获得服务Scape Endpioint。
   1. 登录ARMS控制台。
   2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
   3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
   4. 在左侧导航栏单击服务发现，然后单击配置页签。
   5. 在配置页签下单击ServiceMonitor。
   6. 在ServiceMonitor页签下单击添加ServiceMonitor创建ServiceMonitor。
      模板文件如下所示。

      apiVersion: monitoring.coreos.com/v1
      kind: ServiceMonitor
      metadata:
        #填写一个唯一名称。
        name: custom-metrics-pindex
        #填写目标命名空间。
        namespace: default
      spec:
        endpoints:
        - interval: 30s
          #填写service.yaml中对应的Port的Name字段的值（参考上图）。
          port: web
          #填写Service对应的Path的值。
          path: /access
        namespaceSelector:
          any: true
          #Nginx Demo的命名空间。
        selector:
          matchLabels:
            #填写service.yaml的Label字段的值以定位目标service.yaml。
            app: custom-metrics-pindex

      单击确定完成ServiceMonitor创建。

   7. 在Targets页签，可见Prometheus已经获得服务Scape Endpioint。
      

      说明 这里ServiceMonitor定义比Annotations方式更直观，指示出了Namespace和Service名称。
7. 访问步骤5创建的服务暴露出来的公网IP，增加指标值。
   关于指标的配置，请参见DATA MODEL。
8. 单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal，选择Graph类型，将Metrics填写为current_person_counts。
9. 保存配置即可观察到自定义指标的Grafana图形。
   

常见问题

删除ARMS Prometheus的命名空间后，重新安装ARMS Prometheus失败。