基于流量请求数实现服务自动扩缩容

前提条件

已使用Knative on ASM创建Knative服务。具体操作，请参见使用Knative on ASM部署Serverless应用。

自动扩缩容介绍

Knative Serving为每个Pod注入QUEUE代理容器（queue-proxy）。该容器负责向Autoscaler报告业务容器的并发指标。接收到这些指标之后，Autoscaler会根据并发请求数及缩放算法，调整Deployment的Pod数量，从而实现自动扩缩容。

并发数和QPS

并发数指同一时刻Pod的接收的请求数；QPS指Pod每秒响应的请求数，即最大吞吐能力。

并发数的增加并不一定会导致QPS增加。应用在访问压力较大的情况下，如果并发数增加，可能导致系统超负荷工作，CPU、内存等其他消耗导致系统性能下降，从而导致响应延迟，QPS反而会下降。

缩放算法

有关缩放算法的详细信息，请参见基于流量请求数实现服务自动扩缩容。

KPA配置介绍

KPA的全局默认配置位于kantive-serving命名空间下ConfigMap的config-autoscaler中。您可以执行以下命令，查看config-autoscaler的默认配置。下文介绍重点参数。

kubectl -n knative-serving get cm config-autoscaler -o yaml

预期输出（已忽略代码中的注释部分）：

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  _example:
    container-concurrency-target-default: "100"
    container-concurrency-target-percentage: "0.7"
    enable-scale-to-zero: "true"
    max-scale-up-rate: "1000"
    max-scale-down-rate: "2"
    panic-window-percentage: "10"
    panic-threshold-percentage: "200"
    scale-to-zero-grace-period: "30s"
    scale-to-zero-pod-retention-period: "0s"
    stable-window: "60s"
    target-burst-capacity: "200"
    requests-per-second-target-default: "200"

_example字段下展示的参数配置为默认值。如需修改，请将_example字段下相应的字段复制到data字段下进行修改。

为KPA配置缩容至0

配置Autoscaler的并发数

配置扩缩容边界

spec:
  template:
    metadata:
      autoscaling.knative.dev/minScale: "2"
      autoscaling.knative.dev/maxScale: "10"

场景一：设置并发请求数实现自动扩缩容

本场景将在集群中部署autoscale-go应用，通过设置并发请求数，基于KPA实现自动扩缩容。

1. 创建autoscale-go.yaml，设置并发目标数为10，即autoscaling.knative.dev/target取值为10。

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: autoscale-go
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: autoscale-go
         annotations:
           autoscaling.knative.dev/target: "10"
       spec:
         containers:
           - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1

2. 使用kubectl连接到集群，在命令行执行以下命令部署autoscale-go。

   kubectl apply -f autoscale-go.yaml

3. 登录ASM控制台，单击目标实例名称，然后选择ASM网关 > 入口网关，在服务地址区域，获取IP。

4. 使用Hey压测工具，执行30s内保持50个并发请求。

   关于Hey压测工具的安装步骤和详细信息，请参见Hey。

   说明

   请将xxx.xxx.xxx.xxx替换为您实际的访问网关地址。关于如何获取访问网关地址的具体操作，请参见获取访问网关地址。

   hey -z 30s -c 50   -host "autoscale-go.default.example.com"   "http://xxx.xxx.xxx.xxx?sleep=100&prime=10000&bloat=5"

   预期输出：

   预期输出表明，整个过程中共扩容7个Pod。这是由于当容器并发量大于目标并发量的一定百分比后（默认为70%），Knative会提前创建更多的Pod备用，避免并发量进一步增的情况下目标值被突破。

场景二：设置扩缩容边界实现自动扩缩容

扩缩容边界指应用程序提供服务的最小和最大Pod数量。本场景将在集群中部署autoscale-go应用，通过设置应用程序提供服务的最小和最大Pod数量实现自动扩缩容。

1. 创建autoscale-go.yaml，设置最大并发请求数为10，minScale最小保留实例数为1，maxScale最大扩容实例数为3。

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: autoscale-go
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: autoscale-go
         annotations:
           autoscaling.knative.dev/target: "10"
           autoscaling.knative.dev/minScale: "1"
           autoscaling.knative.dev/maxScale: "3"
       spec:
         containers:
           - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1

2. 使用kubectl连接到集群，在命令行执行以下命令部署autoscale-go。

   kubectl apply -f autoscale-go.yaml

3. 登录ASM控制台，单击目标实例名称，然后选择ASM网关 > 入口网关，在服务地址区域，获取IP。

4. 使用Hey压测工具，执行30s内保持50个并发请求。

   关于Hey压测工具的安装步骤和详细信息，请参见Hey。

   说明

   请将xx.xx.xxx.xx替换为您实际的访问网关地址。关于如何获取访问网关地址的具体操作，请参见获取访问网关地址。

   hey -z 30s -c 50   -host "autoscale-go.default.example.com"   "http://xxx.xx.xx.xxx?sleep=100&prime=10000&bloat=5"

   预期输出：

   预期输出表明，整个过程中Pod最大扩容储量为3，且在无访问请求流量的情况下，Pod最小保留数量为1，即自动扩缩容符合预期。

相关操作

• 使用ASM网关实现HTTPS访问Knative服务

• 在Knative on ASM中基于流量灰度发布服务

• 如需在Knative中使用HPA，请参见在Knative中使用HPA