开源Prometheus监控

索引

操作步骤

1. 部署Prometheus监控方案。

   1. 登录容器服务管理控制台，在左侧导航栏选择市场 > 应用市场。

   2. 在应用市场页面单击应用目录页签，搜索并单击ack-prometheus-operator。

   3. 在ack-prometheus-operator页面，单击一键部署。

   4. 在创建面板中，选择集群和命名空间，然后单击下一步。

   5. 在参数配置页面，设置相应参数，然后单击确定。

      查看部署结果：

      1. 执行以下命令，将集群中的Prometheus映射到本地9090端口。

         kubectl port-forward svc/ack-prometheus-operator-prometheus 9090:9090 -n monitoring

      2. 在浏览器中访问localhost:9090，即可查看Prometheus。

      3. 选择菜单栏Status > Targets，查看所有采集任务。如果所有任务的状态为UP，表示所有采集任务均已正常运行。

2. 查看与展示数据聚合。

   1. 执行以下命令，将集群中的Grafana映射到本地3000端口。

      kubectl -n monitoring port-forward svc/ack-prometheus-operator-grafana 3000:80

   2. 在浏览器中访问localhost:3000，选择相应的Dashboard，即可查看相应的聚合内容。

      

3. 查看告警规则与设置告警压制。

   • 查看告警规则

     在浏览器中访问localhost:9090，选择菜单栏Alerts，即可查看当前的告警规则。

     • 红色：正在触发告警。

     • 绿色：正常状态。

     

   • 设置告警压制

     执行以下命令，并在浏览器中访问localhost:9093，选择Silenced，设置告警压制。

     kubectl --namespace monitoring port-forward svc/alertmanager-operated 9093

     

上述步骤为您简单的介绍了如何部署Prometheus监控方案，下面将为您详细介绍一些不同场景下的配置。

使用容器服务的Prometheus完整的最佳实践请参见云上Prometheus监控运维最佳实践。

告警配置

如果您想要设置告警的接收方式以及设置告警接收的模板，请参考如下对alertmanager的config进行配置。

• 设置告警接收方式

  prometheus-operator支持钉钉告警和邮件告警，如果需要开启，请参见以下操作进行配置。

  • 配置钉钉告警

    如果需要添加钉钉告警功能，请在ack-prometheus-operator页面，单击一键部署，然后在参数配置向导页面，找到dingtalk字段将enabled设置为true，Token字段填入钉钉的webhook地址；alertmanager的config字段找到receiver，填写您receivers中对应的钉钉告警名称（默认为Webhook）。

    例如您有两个钉钉机器人，操作示例如下：

    1. 替换钉钉的token配置

       在您的钉钉机器人中，分别拷贝webhook地址替换为dingtalk1和dingtalk2的地址。即，使用webhook地址替换下图中的https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx。

       

    2. 修改receivers

       alertmanager的config字段找到receiver，填写您receivers中对应的钉钉告警名称，本例中分别为webhook1和webhook2。

    3. 修改URL的值

       将URL中的值替换成实际的dingtalk的值，本例中为dingtalk1和dingtalk2。

       

    说明

    如果需要添加多个钉钉机器人，请将前面的Webhook依次递增即可。

  • 配置邮件告警

    如果需要添加邮件告警功能，请在ack-prometheus-operator页面，单击一键部署，然后在参数配置向导页面，将红色选框内的邮件信息补充完整，在alertmanager的config字段找到receiver，填写您receivers中对应的邮件告警名称（默认为mail）。

• 设置告警接收模板

  您可以在alertmanager的templateFiles定义我们的告警模板，示例如下。

Prometheus挂载自定义ConfigMap

以下介绍两种方法 ，将ConfigMap挂载到pod中的/etc/prometheus/configmaps/路径下。

Grafana配置

• Dashboard的外挂配置

  如果您想将Dashboard文件以ConfigMap的方式挂载到Grafana pod中，您可以在ack-prometheus-operator页面，单击一键部署，然后在参数配置向导页面，找到extraConfigmapMounts，您可以在下图的字段中进行挂载配置。

  说明

  • 先确保dashboard以ConfigMap的形式存在于集群中。

    ConfigMap的labels必须要和其他的ConfigMap保持一致。

  • 在Grafana的extraConfigmapMounts字段填入我们的ConfigMap信息以及挂载信息。

  • mountPath是/tmp/dashboards/。

  • ConfigMap是您定义的ConfigMap的名称。

  • name是您Dashboard的JSON名称。

• Dashboard的持久化

  Grafana支持Dashboard的持久化操作如下：

  1. 登录容器服务管理控制台，在左侧导航栏单击集群列表。

  2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

  3. 找到ack-prometheus-operator，然后单击右侧更新。

  4. 在更新发布面板，grafana的字段下找到persistence选项，按照下图配置完成Grafana的持久化操作。

  

  如果我们需要将我们的Dashboard导出到本地，我们可以通过将需要保存的Dashboard导出为JSON文件的方式，将其保存到本地。请参见Grafana导出。

卸载开源Prometheus

请根据Helm Chart版本参见以下流程卸载开源Prometheus，以避免资源残留，继而产生非预期行为。需要手动清理的资源包括相关的Helm Release、命名空间、CRD和kubelet Service资源。

卸载ack-prometheus-operator但无法自动删除关联的kubelet Service是社区已知问题，需参见下文手动卸载。问题详细描述，请参见#1523。

常见问题

• 钉钉配置后，没有收到告警。

  1. 获取钉钉的webhook地址。请参见事件监控。

  2. 找到dingtalk字段，将enabled设置为true，将Token字段填入钉钉的webhook地址。请参见告警配置中的钉钉告警配置。

• 部署prometheus-operator时报错。

  报错信息如下

  Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

  在卸载prometheus-operator的时候没有将上一次部署的自定义资源（CRD）及时清理掉，执行如下命令，删除CRD并重新部署。

  kubectl delete crd prometheuses.monitoring.coreos.com
  kubectl delete crd prometheusrules.monitoring.coreos.com
  kubectl delete crd servicemonitors.monitoring.coreos.com
  kubectl delete crd alertmanagers.monitoring.coreos.com

• 邮件告警没有生效 。

  邮件告警没有生效，有可能是因为smtp_auth_password填写的是您的登录密码，而非授权码。另外SMTP的服务器地址需要加端口号。

• 如果在单击YAML更新时，出现当前集群暂时无法访问，请稍后重试或提交工单反馈信息。

  此问题原因是tiller的配置文件过大，导致的集群无法访问，您可以先将部分注释删除，再将配置文件以ConfigMap形式，挂载到pod中，目前prometheus-operator只支持prometheus和alertmanager pod的挂载，详情请参见Prometheus挂载自定义ConfigMap中的方法二。

• 部署prometheus-operator后，如何开启其中的功能？

  当部署好prometheus-operator后，如果要开启部分功能，在集群信息页面，选择应用 > Helm，在ack-prometheus-operator右侧，单击更新，找到对应的开关，进行相应的设置，然后单击确定开启您想要的功能。

• TSDB和阿里云云盘的选择。

  TSDB支持的地域比较少，而阿里云云盘是全域支持，数据回收策略请参见以下配置。

• Grafana dashboard显示有问题

  在集群信息页面选择应用 > Helm，在ack-prometheus-operator右侧，单击更新，查看clusterVersion的值是否为正确的集群版本。Kubernetes集群是1.16以前的版本，这里请填写1.14.8-aliyun.1，1.16及以后的版本，请填写1.16.6-aliyun.1。

• 删除ack-prometheus的命名空间后，重新安装ack-prometheus失败。

  只删除ack-prometheus的命名空间，会导致资源删除后有残留配置，影响再次安装。您可以执行以下操作，删除残余配置。

  1. 删除RBAC权限。

     1. 删除ClusterRole。

        kubectl delete ClusterRole ack-prometheus-operator-grafana-clusterrole
        kubectl delete ClusterRole ack-prometheus-operator-kube-state-metrics
        kubectl delete ClusterRole psp-ack-prometheus-operator-kube-state-metrics
        kubectl delete ClusterRole psp-ack-prometheus-operator-prometheus-node-exporter
        kubectl delete ClusterRole ack-prometheus-operator-operator
        kubectl delete ClusterRole ack-prometheus-operator-operator-psp
        kubectl delete ClusterRole ack-prometheus-operator-prometheus
        kubectl delete ClusterRole ack-prometheus-operator-prometheus-psp

     2. 删除ClusterRoleBinding。

        kubectl delete ClusterRoleBinding ack-prometheus-operator-grafana-clusterrolebinding
        kubectl delete ClusterRoleBinding ack-prometheus-operator-kube-state-metrics
        kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-kube-state-metrics
        kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-prometheus-node-exporter
        kubectl delete ClusterRoleBinding ack-prometheus-operator-operator
        kubectl delete ClusterRoleBinding ack-prometheus-operator-operator-psp
        kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus
        kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus-psp

  2. 删除CRD。

     kubectl delete crd alertmanagerconfigs.monitoring.coreos.com
     kubectl delete crd alertmanagers.monitoring.coreos.com
     kubectl delete crd podmonitors.monitoring.coreos.com
     kubectl delete crd probes.monitoring.coreos.com
     kubectl delete crd prometheuses.monitoring.coreos.com
     kubectl delete crd prometheusrules.monitoring.coreos.com
     kubectl delete crd servicemonitors.monitoring.coreos.com
     kubectl delete crd thanosrulers.monitoring.coreos.com