路由列表

LLM API 支持自定义路由,您可以按请求特征进行精细化路由的能力。本文介绍LLM API的自定义路由管理。

创建路由

  1. 登录AI网关控制台,选择您实例所在的地域。

  2. 进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。

  3. 选择路由列表页签,单击创建路由,在创建路由面板,进行如下配置:

    • 路由名称:自定义路由名称。

    • 路径:LLM API的自定义路由路径支持/v1/chat/completions/v1/completions/v1/embeddings/v1/fine-tuning四种方式。

    • 更多匹配规则:如需创建多个相同路径的路由,需要对方法(Method)请求头(Header)请求参数(Query)进行配置,以区分不同路由。

    • 服务类型:支持单模型服务多模型服务(按比例)两种类型。

      • 单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景。

      • 多模型服务(比例):在同一个服务实例中部署和运行多个模型,并根据设定的比例分配资源和请求,适用于需要同时处理多种任务或模型的应用场景。

    • 服务列表:在服务列表中选择服务。默认不展示以consumers开头的服务。

    • Fallback:开启后可添加Fallback服务,按照降序执行。

      说明

      Fallback服务支持重复使用同一个服务组建多条策略。

    image

编辑路由

  1. 登录AI网关控制台,选择您实例所在的地域。

  2. 进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。

  3. 选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。单击页面右侧编辑路由,完成基本信息后端服务配置修改。单击确定即可完成路由修改。

发布路由

  1. 登录AI网关控制台,选择您实例所在的地域。

  2. 进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。

  3. 选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。

  4. 单击页面发布路由,在确认弹框中单击确定,即可对已创建的路由进行发布。

    image

下线路由

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。

  5. 选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。

  6. 在目标自定义路由处单击image > 下线,在确认下线弹框中单击下线,即可完成路由下线。

    image

删除路由

说明

您可以将已创建但未发布的路由或已下线的路由删除。

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。

  5. 选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。

  6. 在目标自定义路由处单击image > 删除,在删除路由弹框中单击删除,即可完成路由删除。

    image