工作负载伸缩FAQ

当HPA的监控数据的current字段显示为unknown时，表示kube-controller-manager无法访问监控数据源获取对应的监控数据，HPA扩缩容时会失败。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因一：Resource Metrics数据源无法使用

请先执行命令kubectl top pod检查是否返回数据。如果所有的Pod都无数据，请执行kubectl get apiservice检查当前提供Resource Metrics的数据源的情况。返回的示例数据如下。

NAME                                   SERVICE                      AVAILABLE   AGE
v1.                                    Local                        True        29h
v1.admissionregistration.k8s.io        Local                        True        29h
v1.apiextensions.k8s.io                Local                        True        29h
v1.apps                                Local                        True        29h
v1.authentication.k8s.io               Local                        True        29h
v1.authorization.k8s.io                Local                        True        29h
v1.autoscaling                         Local                        True        29h
v1.batch                               Local                        True        29h
v1.coordination.k8s.io                 Local                        True        29h
v1.monitoring.coreos.com               Local                        True        29h
v1.networking.k8s.io                   Local                        True        29h
v1.rbac.authorization.k8s.io           Local                        True        29h
v1.scheduling.k8s.io                   Local                        True        29h
v1.storage.k8s.io                      Local                        True        29h
v1alpha1.argoproj.io                   Local                        True        29h
v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
v1beta1.admissionregistration.k8s.io   Local                        True        29h
v1beta1.alicloud.com                   Local                        True        29h
v1beta1.apiextensions.k8s.io           Local                        True        29h
v1beta1.apps                           Local                        True        29h
v1beta1.authentication.k8s.io          Local                        True        29h
v1beta1.authorization.k8s.io           Local                        True        29h
v1beta1.batch                          Local                        True        29h
v1beta1.certificates.k8s.io            Local                        True        29h
v1beta1.coordination.k8s.io            Local                        True        29h
v1beta1.events.k8s.io                  Local                        True        29h
v1beta1.extensions                     Local                        True        29h
...
[v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
...
v1beta1.networking.k8s.io              Local                        True        29h
v1beta1.node.k8s.io                    Local                        True        29h
v1beta1.policy                         Local                        True        29h
v1beta1.rbac.authorization.k8s.io      Local                        True        29h
v1beta1.scheduling.k8s.io              Local                        True        29h
v1beta1.storage.k8s.io                 Local                        True        29h
v1beta2.apps                           Local                        True        29h
v2beta1.autoscaling                    Local                        True        29h
v2beta2.autoscaling                    Local                        True        29h

apiVersion: apiregistration.k8s.io/v1beta1
kind: APIService
metadata:
  name: v1beta1.metrics.k8s.io
spec:
  service:
    name: metrics-server
    namespace: kube-system
  group: metrics.k8s.io
  version: v1beta1
  insecureSkipTLSVerify: true
  groupPriorityMinimum: 100
  versionPriority: 100

如果非上述问题，请确认已在集群的运维管理>组件管理页面安装了metrics-server组件。更多信息，请参见metrics-server。

原因二：滚动发布或扩容时无法获取数据

默认metrics-server的采集周期是1 min。刚扩容或更新完成后，metrics-server会有一段时间无法获取监控数据。请于扩容或更新后2 min左右进行查看。

原因三：未配置request字段

HPA默认是通过实际的利用率/request作为利用率的数值，因此可以检查Pod的resource字段中是否包含request字段。

原因四：指标名填写错误

请检查指标名（包括大小写）是否正确。例如，如果将HPA支持的cpu指标误写为CPU，监控数据current字段会显示为unknown。

社区Controller Manager在滚动发布时，对于没有监控数据的Pod，进行监控数据的补零操作，从而有一定的概率出现扩容出多余的Pod现象（多弹现象）。您可以通过以下配置防止多弹。

集群维度配置

# 在metrics-server的启动参数中加入以下选项。
--enable-hpa-rolling-update-skipped=true  

工作负载维度配置

如果只想对指定的工作负载开启防止多弹，您可以使用以下两种方法防止多弹。

• 方法一：通过在指定工作负载的模板中添加以下Annotation，可以在滚动发布时临时暂停HPA的判断生效。

  #工作负载的spec.template.metadata.annotations加入Annotation，滚动发布时临时暂停HPA的判断生效。
  HPARollingUpdateSkipped: "true"

  展开查看示例代码详情

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
      template:
          metadata:
            labels:
              app: nginx
            annotations:
              HPARollingUpdateSkipped: "true"  # 跳过滚动发布时的HPA的效果。
          spec:
            containers:
            - name: nginx
              image: nginx:1.7.9
              ports:
              - containerPort: 80

• 方法二：通过在指定工作负载的模板中添加以下Annotation，可以在应用发布开始阶段跳过设定的预热时间段。

  #工作负载的spec.template.metadata.annotations加入Annotation,在应用发布开始阶段跳过设定的预热的时间段。
  HPAScaleUpDelay: 3m # 3m仅为示例，具体时间段请按需设置

  展开查看示例代码详情

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
      template:
          metadata:
            labels:
              app: nginx
            annotations:
              HPAScaleUpDelay: 3m  # m代表分钟，表示HPA在Pod创建3分钟后开始生效，可选单位为[s（秒），m（分）]。
          spec:
            containers:
            - name: nginx
              image: nginx:1.7.9
              ports:
              - containerPort: 80

增加开关防止误触发部署示例YAML如下。

## 以Deployment为例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # m代表分钟，表示HPA在Pod创建3分钟后开始生效，可选单位为[s（秒）,m（分）]。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # Replace it with your exactly <image_name:tags>.
        ports:
        - containerPort: 80 

常见可能导致匹配Pod数目不准确的原因：

• 滚动发布。

• 给其他不属于scaleTargetRef中对象的Pod打标了相同Label。执行如下命令，可判断是否有其他Pod。

  kubectl get pods -n {命名空间名字} -l {scale子资源的status.Selector的值}