Model API 支持自定义路由,您可以按请求特征进行精细化路由的能力。本文介绍Model API的自定义路由管理。
创建路由
打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID。
在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。
单击路由列表,然后单击创建路由,并在创建路由面板配置相关参数:
路由名称:自定义路由名称。
路径:Model API的自定义路由路径支持
/v1/chat/completions
、/v1/completions
、/v1/embeddings
和/v1/fine-tuning
四种方式。更多匹配规则:如需创建多个相同路径的路由,需要对方法(Method)、请求头(Header)和请求参数(Query)进行配置,以区分不同路由。
服务模型:支持单模型服务和多模型服务(按比例)两种类型。
单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景。
多模型服务(比例):在同一个服务实例中部署和运行多个模型,并根据设定的比例分配资源和请求,适用于需要同时处理多种任务或模型的应用场景。
服务列表:在服务列表中选择服务。
Fallback:开启后可添加Fallback 服务,按照降序执行。
说明Fallback服务支持重复使用同一个服务组建多条策略。
确认配置信息并单击添加。
编辑路由
发布路由
打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID。
在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。
单击路由列表,并在路由列表中选择目标自定义路由。
单击发布路由,并在确认弹框中单击确定。
下线路由
打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID。
在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。
单击路由列表,并在路由列表中选择目标自定义路由。
选择
,并在确认下线弹框中单击下线。
删除路由
删除操作仅支持删除未发布或已下线的路由,如需删除已发布路由,请先完成下线路由操作。
打开AI网关控制台实例页面,在顶部菜单栏选择目标实例所在地域,并单击目标实例ID。
在左侧导航栏,单击Model API,然后单击目标API名称进入API详情页面。
单击路由列表,并在路由列表中选择目标自定义路由。
选择
,并在确认删除的弹框中单击删除。