工作站是 InferX 的顶层管理单元,创建后系统自动生成统一的调用入口。本文介绍如何创建工作站、获取调用信息以及删除工作站。
创建工作站
工作站的本质是一个归属于某个群组的 LLM 智能路由服务(群组名与工作站名称一致),工作站内所有服务也归属于该群组。
创建工作站后系统自动生成 Base URL 和 API 密钥作为统一调用入口。
登录 PAI 控制台,左侧导航栏选择模型部署 > InferX。
首次使用在欢迎页面,单击创建工作站。
若已有工作站,在右上角单击当前工作站,然后创建新的工作站。
配置以下参数:
参数
说明
工作站名称
自定义名称,支持小写字母、数字、下划线,必须以小写字母开头。创建后不可修改。
资源类型
选择公共资源组(使用按量付费的公共资源,适合快速体验)或资源配额(使用已购资源,适合生产环境)。
部署资源
为智能路由组件配置资源,用于接收用户请求并转发。默认 2 副本,4 核 CPU,8 GB 内存。生产环境建议适当增加副本数以提升路由稳定性。
调度器资源配置
为调度管理组件分配的资源。默认 2 核 CPU,4 GB 内存。
网关选择
选择共享网关或专属网关:
共享网关:免费,无 SLA 保障。适合开发测试场景。
专属网关:需付费开通,可以实现服务的公网白名单控制访问和 VPC 白名单控制访问,并支持跨地域部署调用。生产环境推荐使用。详情参见使用专属网关。
专有网络配置
可选。配置工作站的专有网络、交换机和安全组。
说明使用Redis必须为工作站配置专有网络。
Redis 配置
可选。启用后将通过阿里云 Tair(兼容 Redis)存储调用信息、Token 统计数据等;未配置时数据仅存本地内存,服务停机即丢失,生产环境请配置 Redis。
请根据是否已有可用 Redis 实例选择配置方式:
创建新实例:需新建实例时推荐使用,系统将自动完成 Tair 实例创建和白名单配置。
单击创建Tair实例后,将显示 Tair 实例的创建进度,此过程请勿刷新页面;如已刷新,请前往 Tair 控制台完成剩余操作。创建完成后,页面展示 Redis 地址、Redis 用户名(默认为 default)和 Redis 密码,请妥善保管上述信息。
选择已有实例:账号下已有 Tair 或 Redis 实例时可直接复用,避免重复创建和额外费用。
手动输入:请确保 Redis 实例所在 VPC 与工作站配置的专有网络一致,否则无法正常连接。
确认底部总费用后,单击创建工作站。
查看工作站调用信息
工作站创建完成后,在右上角单击调用信息,获取 Base URL 和 API 密钥,用于调用工作站内的推理服务。
Base URL:提供公网和内网访问地址。VPC 内网访问地址,延迟更低,且不产生公网流量费用。适合调用端与工作站在同一 VPC 。
API 密钥:用于请求鉴权。调用时在 HTTP Header 中携带:
Authorization: Bearer <API_KEY>。单击复制图标获取完整密钥。
删除工作站
删除工作站前请先删除该工作站下的推理服务和 KV Cache 服务。删除后无法恢复。请确认工作站内无正在处理的重要请求后再执行删除。
在右上角单击详情,打开工作站详情面板。
在详情面板底部,单击删除工作站,然后单击确定。
升级引擎版本
当 LLM 智能路由引擎发布新版本时,您可以通过以下两种方式执行升级,无需重建工作站。
方式一:在工作站详情面板中快速升级
此方式直接升级到最新版本,无版本选择,适用于只需升级到最新版本且无需查看变更说明的场景。
在右上角单击详情,打开工作站详情面板。
在详情面板底部的工作站版本区域,若当前版本并非最新版本,会显示可升级标签,单击点击此处进行升级。
在弹出的确认对话框中,单击确认升级。升级预计需要约 5 分钟,期间可能影响当前业务,建议在业务低峰时段进行操作。
方式二:在智能路由服务列表中选择版本
此方式可在弹出的版本列表中选择目标版本(升级或降级),并查看各版本的变更说明。
在 InferX 左侧导航栏,单击服务,进入智能路由服务列表。
找到目标服务,在操作列单击升级版本。
在弹出的版本列表中,查看各版本的变更说明,选择目标版本后单击确定。
LLM 智能路由引擎版本说明
以下列出 LLM 智能路由引擎各版本的变更内容。
版本 | 变更内容 |
v0.5.0 |
|
v0.4.0 |
|
v0.3.0 |
|
v0.2.0 |
|