路由列表

Model API 支持自定义路由,您可以按请求特征进行精细化路由的能力。本文介绍Model API的自定义路由管理。

创建路由

  1. 打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID

  2. 在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。

  3. 单击路由列表,然后单击创建路由,并在创建路由面板配置相关参数:

    • 路由名称:自定义路由名称。

    • 路径:Model API的自定义路由路径支持/v1/chat/completions/v1/completions/v1/embeddings/v1/fine-tuning四种方式。

    • 更多匹配规则:如需创建多个相同路径的路由,需要对方法(Method)请求头(Header)请求参数(Query)进行配置,以区分不同路由。

    • 服务模型:支持单模型服务多模型服务(按比例)两种类型。

      • 单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景。

      • 多模型服务(比例):在同一个服务实例中部署和运行多个模型,并根据设定的比例分配资源和请求,适用于需要同时处理多种任务或模型的应用场景。

    • 服务列表:在服务列表中选择服务。

    • Fallback:开启后可添加Fallback 服务,按照降序执行。

      说明

      Fallback服务支持重复使用同一个服务组建多条策略。

    image

  4. 确认配置信息并单击添加

编辑路由

  1. 打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID

  2. 在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。

  3. 单击路由列表,并在路由列表中选择目标自定义路由。

  4. 单击编辑路由,并修改相关参数配置。更多参数说明,请参见创建路由

  5. 确认配置信息并单击单击确定

发布路由

  1. 打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID

  2. 在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。

  3. 单击路由列表,并在路由列表中选择目标自定义路由。

  4. 单击发布路由,并在确认弹框中单击确定

下线路由

  1. 打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID

  2. 在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。

  3. 单击路由列表,并在路由列表中选择目标自定义路由。

  4. 选择更多操作 > 下线,并在确认下线弹框中单击下线

删除路由

说明

删除操作仅支持删除未发布或已下线的路由,如需删除已发布路由,请先完成下线路由操作。

  1. 打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID

  2. 在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。

  3. 单击路由列表,并在路由列表中选择目标自定义路由。

  4. 选择更多操作 > 删除,并在确认删除的弹框中单击删除