部署异步推理服务

配置队列子服务资源

队列子服务的资源默认按照metadata中的字段进行配置，但在有些场景下，您可以跟进本章节，对队列子服务的资源进行单独配置。

• 通过queue.resource声明队列子服务所使用的资源组。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # 默认跟随推理子服务资源组。
    }
  }

  • 队列子服务默认跟随推理子服务的资源组。

  • 当您需要使用公共资源组部署队列子服务时，可以声明resource为空字符串（""），这在您的专属资源组CPU和内存不充足时非常有用。

    说明

    推荐使用公共资源组部署队列子服务。

• 通过queue.cpu和queue.memory声明每个队列子服务实例所使用的CPU（单位：核数）和内存大小（单位：MB）。

  {
    "queue": {
       "cpu": 2,  # 默认值为1。
       "memory": 8000  # 默认值为4000。
    }
  }

  如果您没有进行资源配置，队列子服务将按照1 CPU核、4 GB内存进行默认配置。这可以满足大多数场景的需求。

  重要

  • 如果您的订阅者（比如推理子服务实例的数量）数量超过200时，建议将CPU核数配置为2核以上。

  • 不建议在生产环境中缩小队列子服务的内存配置。

• 通过queue.min_replica配置队列子服务实例的最小数量。

  {
    "queue": {
       "min_replica": 3  # 默认为1。
    }
  }

  在使用异步推理服务时，队列子服务实例的数量将根据推理子服务实例的运行时数量自动调整，默认的调整区间为[1, min{2, 推理子服务实例的数量}]。特殊情况下，如果配置异步推理服务的自动扩缩容规则并允许将实例数量缩小到0时，将自动保留1个队列子服务实例。您也可以通过queue.min_replica调整最小保留的队列子服务实例数量。

  说明

  增加队列子服务实例的数量可以提高可用性，但不能提高队列子服务的性能。

配置队列子服务功能

队列子服务拥有多项可配置的功能，您可以通过以下配置方法进行调整。

• 通过queue.sink.auto_evict或者queue.source.auto_evict分别配置输出/输入队列自动数据驱逐功能。

  {
    "queue": {
       "sink": {
          "auto_evict": true  # 输出队列打开自动驱逐，默认为false。
        },
        "source": {
           "auto_evict": true  # 输入队列打开自动驱逐，默认为false。
        }
    }
  }

  默认情况下队列子服务的自动数据驱逐功能处于关闭状态，如果您的队列已满将无法继续输入数据。在某些场景下，如果您允许数据在队列中溢出，可以选择打开自动数据驱逐功能，队列将自动驱逐最老的数据以允许新数据写入。

• 通过queue.max_delivery配置最大投递次数。

  {
     "queue": {
        "max_delivery": 10  # 最大投递次数为10，默认值：5。当配置为0时，最大投递次数关闭, 数据可以被无限次投递。
     }
  }

  当单条数据的尝试投递次数超过设定阈值时，该数据将被视为无法处理，并将其标记为死信。详情请参见队列实例的死信策略。

• 通过queue.max_idle配置数据的最大处理时间。

  {
      "queue": {
        "max_idle": "1m"  # 配置单条数据最大处理时长为1分钟，如果超过该时间将被投递给其它订阅者, 投递完毕后投递次数+1。默认值为0，即没有最大处理时长。
      }
  }

  示例中配置的时间长度为1分钟，支持多种时间单位，如h（小时）、m（分钟）、s（秒）。如果单条数据处理的时间超过了这里配置的时长，则有两种可能：

  • 如果未超过queue.max_delivery设定的阈值，该条数据会被投递给其他订阅者。

  • 如果已超过queue.max_delivery设定的阈值，该条数据将会被执行死信策略。

• 通过queue.dead_message_policy配置死信策略。

  {
      "queue": {
        "dead_message_policy":  "Rear"  # 枚举值为Rear（默认值）或者Drop, Rear即为放入队列末尾，Drop将该条数据删除。 																 
      }
  }

配置队列最大长度或最大数据体积

队列子服务的最大长度和最大数据体积是此消彼长的关系，计算关系如下所示：

队列子服务实例内存是固定的，因此如果调整单条数据最大体积，则会导致该队列最大长度减小。

• 通过queue.sink.max_length或者queue.source.max_length分别配置输出队列/输入队列的最大长度。

  {
      "queue": {
         "sink": {
            "max_length": 8000  # 配置输出队列最大长度为8000条数据。
         },
         "source": {
            "max_length": 2000  # 配置输入队列最大长度为2000条数据。
         }
      }
  }

• 通过queue.sink.max_payload_size_kb或者queue.source.max_payload_size_kb分别配置输出队列/输入队列单条数据最大数据体积。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # 配置输出队列单条数据最大体积是10 KB, 默认8 kB。
         },
         "source": {
            "max_payload_size_kb": 1024  # 配置输入队列单条数据最大体积是1024 KB(1MB), 默认是8 kB。
         }
      }
  }

配置内存分配倾斜

• 通过queue.sink.memory_ratio来调整输入输出两个队列占用的内存大小。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # 配置输出队列内存占比，默认值为0.5。
         }
      }
  }

  说明

  默认配置下，输入队列和输出队列均分队列子服务实例的内存。如果您的服务需要输入文本、输出图片，并期望在输出队列存放更多数据，则可以将queue.sink.memory_ratio相应提高；相反，如果您期望输入图片、输出文本，则可以将queue.sink.memory_ratio相应减小。