基于阿里云组件指标的容器水平伸缩

本文将通过以下步骤，以创建名为Nginx的Deployment、Service和Ingress为例，配置HPA自动伸缩，实现基于日志服务（SLS）中Ingress的QPS指标对容器进行水平伸缩。

步骤一：部署ack-alibaba-cloud-metrics-adapter组件

ack-alibaba-cloud-metrics-adapter组件允许 Kubernetes 通过 External Metrics API 获取阿里云产品（如 ECS、SLB、RDS 等）的监控数据，可以增强集群的监控和自动伸缩能力。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

3. 在Helm页面，单击创建，完成基本信息配置，然后选中ack-alibaba-cloud-metrics-adapter，单击下一步。

4. 在参数配置页面，选择Chart 版本，然后单击确定。

步骤二：创建应用与服务

1. 创建nginx-test.yaml文件。

   展开查看YAML示例

   apiVersion: apps/v1 
   kind: Deployment
   metadata:
     name: nginx-deployment-basic
     labels:
       app: nginx
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         containers:
         - name: nginx
           image: nginx:1.7.9 
           ports:
           - containerPort: 80
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: nginx
     namespace: default
   spec:
     ports:
       - port: 80
         protocol: TCP
         targetPort: 80
     selector:
       app: nginx
     type: ClusterIP

2. 执行以下命令，创建应用Deployment和对应的Service。

   kubectl apply -f nginx-test.yaml

步骤三：创建路由

1. 在集群管理页左侧导航栏中，选择网络 > 路由，并在路由页面左上方，单击创建Ingress。

2. 在创建面板中填写相关信息，然后单击确定。完成创建后，系统会自动跳转至路由页面。

3. 在操作列名称下，单击生成的Ingress名称，查看路由规则信息。关于Ingress更多详情，请参见Ingress管理

步骤四：配置HPA

您可以在HPA中配置SLS Project中伸缩使用的两个指标，例如sls_ingress_qps与sls_ingress_latency_p9999。

• sls_ingress_qps：为AverageValue，表示QPS要除以Pod的数目进行判断。

• sls_ingress_latency_p9999：为Value，表示无需除以Pod的数目。

1. 创建并复制以下内容到ingress-hpa.yaml中。

   展开查看YAML示例

   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: ingress-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: nginx-deployment-basic
     minReplicas: 2
     maxReplicas: 10
     metrics:
       - type: External
         external:
           metric:
             name: sls_ingress_qps
             selector:
               matchLabels:
                 sls.project: "***" # 替换sls.project的值为真实值。
                 sls.logstore: "nginx-ingress"
                 sls.ingress.route: "default-nginx-80"
           target:
             type: AverageValue
             averageValue: 10
       - type: External
         external:
           metric:
             name: sls_ingress_latency_p9999
             selector:
               matchLabels:
                 # default ingress log project is k8s-log-clusterId
                 sls.project: "***" 
                 # default ingress logstre is nginx-ingress
                 sls.logstore: "nginx-ingress"
                 # namespace-svc-port
                 sls.ingress.route: "default-nginx-80"
                 # sls vpc endpoint, default true
                 # sls.internal.endpoint:true
           target:
             type: Value
             # sls_ingress_latency_p9999>10ms 即值超过10ms时，HPA会自动增加nginx-deployment-basic的Pod数量。
             value: 10

   HPA的配置涉及的参数如下。

   参数名	是否必填	描述

   参数名	是否必填	描述
   sls.ingress.route	是	参数的格式为：<namespace>-<svc>-<port>，其中<namespace>为Ingress所在的命名空间，<svc>是Ingress对应的Service名称，<port>是Ingress对应Service的Port名称。例如，default-nginx-80。
   sls.logstore	是	日志服务的日志库名称。集群中默认sls.logstore值为nginx-ingress。
   sls.project	是	日志服务的Project名称。集群中默认sls.project值为k8s-log-集群ID.
   sls.internal.endpoint	否	设置通过内网还是外网访问日志服务，默认为true。 true：通过内网访问SLS。 false：通过外网访问SLS。

2. 执行以下命令，创建HPA。

   kubectl apply -f ingress-hpa.yml

步骤五：结果验证

1. 配置好HPA后，执行以下命令进行压测。

   ab -t 300 -c 10 <ingress配置的域名> # 使用Apache Benchmark对Ingress暴露的服务设置并发为10，时间为300秒的压测。

2. 验证指标伸缩状态。

   1. 在控制台左侧导航栏单击集群，并在集群列表页面，选择目标集群操作列的更多 > 通过CloudShell管理集群。

   2. 执行以下命令检查伸缩状态。

      kubectl get hpa ingress-hpa

      预期输出：

      NAME            REFERENCE                              TARGETS           MINPODS    MAXPODS    REPLICAPS   AGE
      ingress-hpa     Depolyment/nginx-deployment-basic      21/10 (avg)       2          10         10          7m49s

      当REPLICAS的值和MAXPODS的值相同时，说明伸缩成功。

常见问题

如何通过命令行获取QPS指标 sls_ingress_qps？

kubectl get --raw  /apis/external.metrics.k8s.io/v1beta1/namespaces/*/sls_ingress_qps?labelSelector=sls.project={{SLS_Project}},sls.logstore=nginx-ingress

Error from server: {
    "httpCode": 400,
    "errorCode": "ParameterInvalid",
    "errorMessage": "key (slb_pool_name) is not config as key value config,if symbol : is  in your log,please wrap : with quotation mark \"",
    "requestID": "xxxxxxx"
}

{
  "kind": "ExternalMetricValueList",
  "apiVersion": "external.metrics.k8s.io/v1beta1",
  "metadata": {},
  "items": [
    {
      "metricName": "sls_ingress_qps",
      "timestamp": "2025-02-26T16:45:00Z", 
      "value": "50",   # QPS的值
      "metricLabels": {
        "sls.project": "your-sls-project-name",
        "sls.logstore": "nginx-ingress"
      }
    }
  ]
}

如果执行kubectl get hpa后发现target一栏为<unknown>怎么办？

如何查找HPA支持的指标名称？

如果自定义了Nginx Ingress日志格式，如何进行适配操作？

相关文档

• 基于阿里云Prometheus指标的容器水平伸缩

• 基于Nginx Ingress流量指标的多应用水平伸缩