LLM API 支持自定义路由,您可以按请求特征进行精细化路由的能力。本文介绍LLM API的自定义路由管理。
创建路由
登录AI网关控制台,选择您实例所在的地域。
进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。
选择路由列表页签,单击创建路由,在创建路由面板,进行如下配置:
路由名称:自定义路由名称。
路径:LLM API的自定义路由路径支持
/v1/chat/completions
、/v1/completions
、/v1/embeddings
和/v1/fine-tuning
四种方式。更多匹配规则:如需创建多个相同路径的路由,需要对方法(Method)、请求头(Header)和请求参数(Query)进行配置,以区分不同路由。
服务类型:支持单模型服务和多模型服务(按比例)两种类型。
单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景。
多模型服务(比例):在同一个服务实例中部署和运行多个模型,并根据设定的比例分配资源和请求,适用于需要同时处理多种任务或模型的应用场景。
服务列表:在服务列表中选择服务。默认不展示以consumers开头的服务。
Fallback:开启后可添加Fallback服务,按照降序执行。
说明Fallback服务支持重复使用同一个服务组建多条策略。
编辑路由
登录AI网关控制台,选择您实例所在的地域。
进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。
选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。单击页面右侧编辑路由,完成基本信息和后端服务配置修改。单击确定即可完成路由修改。
发布路由
登录AI网关控制台,选择您实例所在的地域。
进入目标实例页面,选择左侧导航栏的LLM API,进入目标API页面。
选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。
单击页面发布路由,在确认弹框中单击确定,即可对已创建的路由进行发布。
下线路由
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。
选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。
在目标自定义路由处单击
> 下线,在确认下线弹框中单击下线,即可完成路由下线。
删除路由
您可以将已创建但未发布的路由或已下线的路由删除。
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。
选择路由列表页签,在路由列表页面的左侧栏选择目标自定义路由。
在目标自定义路由处单击
> 删除,在删除路由弹框中单击删除,即可完成路由删除。