LLMRoute CRD的流量路由字段说明-服务网格-阿里云

LLMRoute 是服务网格 ASM（Service Mesh）提供的定制化Kubernetes CRD，旨在为大规模语言模型（Large Language Model，LLM）相关的路由规则提供声明式的配置能力。该CRD支持基于请求头、资源标签等条件的流量匹配，并能够灵活地将流量路由到指定的外部LLM服务或集群内推理池（Inference Pool）。本文将详细介绍LLMRoute资源的各个字段。

配置示例

以下为LLMRoute 的示例配置。完整场景示例，请参见流量路由：使用ASM高效管理LLM流量。

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:  
  name: dashscope-route
spec:
  host: dashscope.aliyuncs.com # 不同LLMprovider之间不可重复
  rules:
  - name: vip-route
    matches:
    - headers:
        user-type:
          exact: subscriber  # 订阅用户专用的路由项
    backendRefs:
    - providerHost: dashscope.aliyuncs.com
  - backendRefs:
    - providerHost: dashscope.aliyuncs.com

配置项说明

LLMRoute

配置项	类型	描述
host	`String`	路由的目标主机地址。
gateways	`[]String`	网关规则列表，与虚拟服务中的`gateways`相同。
rules	`[]LLMRule`	路由规则列表。

LLMRule

LLMRule 用于定义单个路由规则。

配置项	类型	描述
name	`String`	规则名称。
matches	`[]LLMRequestMatch`	匹配条件列表。
backendRefs	`[]LLMBackendRef`	后端引用列表。

LLMRequestMatch

LLMRequestMatch 用于定义请求匹配条件。

配置项	类型	描述
Headers	`map[String]StringMatch`	请求头匹配条件。
SourceLabels	`map[String]String`	资源标签匹配条件。
Gateways	`[]String`	网关匹配条件。

LLMBackendRef

LLMBackendRef 定义了后端引用信息，包含以下字段：

配置项	类型	描述
ProviderHost	`String`	目标Host。
Weight	`Int32`	权重值。
BackendRef	`BackendObjectReference`	后端对象引用。

ProviderHost和BackendRef不可同时存在。

BackendObjectReference

BackendObjectReference 定义了后端对象的引用信息，包含以下字段：

配置项	类型	描述
Group	`String`	后端对象的组。
Kind	`String`	后端对象的类型。
Name	`String`	后端对象的名称。
Namespace	`String`	后端对象的命名空间。
Port	`Int32`	后端对象的端口。

目前只支持引用InferencePool资源。