水平自动扩缩容功能

参数说明

• 基础配置

  参数	说明	设置建议与风险提示
  最小实例数	服务实例自动缩容的下限数量，最小值为0。	生产环境建议：对于需要持续在线的服务，强烈建议将此值设置为 1 或更高。 重要 设置为 0 意味着在无流量时服务实例将被完全回收。此时新请求将面临完整的冷启动延迟（可能长达数十秒至数分钟），期间服务不可用。此外，使用专属网关的服务不支持将此值设为 0。
  最大实例数	服务实例自动扩容的上限数量。最大为 1000。	请根据业务峰值预估和账户配额合理设置，以防意外的流量高峰导致费用超出预算。
  常规扩缩容指标	用于触发扩缩容的内置性能指标。	单实例QPS伸缩阈值：建议基于压测结果设置，通常为单实例最优性能的 70%-80%。 CPU利用率阈值：过低易浪费资源，过高可能影响请求延迟。建议根据RT指标来设置。 GPU利用率阈值：建议根据RT指标来设置。 异步队列长度：仅适用于异步服务。建议根据任务平均处理时长和可接受的延迟来设定。更多请参见异步推理服务配置水平自动扩缩容。
  自定义扩缩容指标	可以上报自定义指标并据此进行扩缩容，详情请参见自定义监控及扩缩容指标。	适用于内置指标无法满足业务需求的复杂场景。

• 高级配置

  参数	说明	设置建议与风险提示
  扩容生效时长	扩容决策的观察窗口。触发扩容后，系统会在此段时间内观察指标，若指标值回落至阈值以下，则取消本次扩容。单位为秒。	默认值为 0 秒，即立即执行扩容。适当增加此值（如 60 秒）可避免因瞬时毛刺流量引发不必要的扩容。
  缩容生效时长	缩容决策的观察窗口，是防止服务抖动的关键参数。系统会确认指标值在此段时间内持续低于阈值后，才执行缩容。单位为秒。	默认值为 300 秒。此值是防止服务因流量波动而频繁缩容的核心保障。不建议设置过小，以免影响服务稳定性。
  缩容到0的生效时长	当最小实例数设为 0 时，此参数定义了从满足缩容条件到实例数缩减至 0 的等待时间。	用于延迟服务彻底下线的时间，为可能的流量恢复提供缓冲。
  从0扩容的实例数	服务从 0 个实例冷启动时，一次性扩容到的实例数量。	建议设置为一个能应对初始流量冲击的合理值，以缩短冷启动期间的服务不可用时间。

配置示例

以下是一个包含所有常用配置项的 scaler.json 完整示例：

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

参数说明