开通算子服务

更新时间:
复制 MD 格式

算子服务是云原生数据仓库 AnalyticDB MySQL 版预置的多模 AI 推理服务,平台已托管目标检测模型和人脸识别模型的推理加速能力,您无需采购 GPU 卡、搭建 Ray 集群或自行运维模型推理框架,一次创建即可获得高可用、可弹性伸缩的推理 Endpoint。

前提条件

满足以下三点即可开始创建算子服务:

  1. 已购买并处于运行中状态的云原生数据仓库 AnalyticDB MySQL 版企业版集群。参见创建集群

  2. 已开通算子服务。按实际调用 token 或语音时长后付费;未开通时算子服务的创建会失败。前往开通算子服务

  3. 当前操作账号具备云原生数据仓库 AnalyticDB MySQL 版集群的管理员权限,或被授予算子服务相关操作权限。

说明

算子服务默认通过弹性网卡(ENI)接入您的 VPC,ENI 默认启用且不可关闭。请确保 VPC 内有足够的可用 IP。

创建算子服务

警告

算子服务创建后不支持编辑配置。如需调整服务类型、规格、加速能力等任意配置项,必须删除后重建。请务必在创建前完成下方配置规划。

配置规划

服务类型

当前仅支持多模服务。一个多模服务内可按需开启目标检测、人脸识别两类加速能力。

Ray Worker 配置

Worker 节点承载实际推理任务,关键字段如下:

字段

规划要点

Worker 资源规格

单个 Worker 节点的计算规格,默认 medium(2 ACU)。推理负载大、模型复杂时选更高规格。

Worker 磁盘大小(GB)

默认 70 GB,用于承载模型缓存和临时数据。超大规模推理可适当调大。

数量最小值

保底节点数,决定冷启动延迟最低成本。生产场景建议 ≥ 2 以保证高可用。

数量最大值

扩容上限,决定峰值吞吐。系统按负载自动扩缩;该值与最小值相等时无扩缩空间。

加速能力(按业务按需开启)

  • 目标检测加速:业务调用物体识别相关算子时开启。

  • 人脸识别加速:业务调用人脸识别相关算子时开启。

两类加速可独立开启或同时开启。开启后需在 GPU 加速与 CPU 加速之间二选一:

对比维度

GPU 加速

CPU 加速

适用场景

在线推理、实时检测,要求低延迟、高吞吐。

离线批处理、低 QPS 验证。

关键配置

GPU 型号(当前 ADB.MLPlus.2)、GPU 个数。

资源个数(资源规格自动与 Ray Worker 同步,不单独配置)。

成本

按 GPU 卡数计费,较高。

按 ACU 计费,较低。

网络配置

弹性网卡(ENI)默认启用且不可关闭,服务会接入您当前集群所在的 VPC。请提前确认 VPC 网段有足够的可用 IP。

平台托管字段(无需填写)

  • Ray 资源组名称:系统自动创建,名称形如 resource{随机字符}

  • Ray Head 配置:规格固定为 medium(2 ACU),磁盘 70 GB。

操作步骤

  1. 登录云原生数据仓库 AnalyticDB MySQL 版控制台,在集群列表中单击目标集群 ID 进入集群。

  2. 在集群左侧导航栏展开AI应用,单击算子服务

  3. 单击右上角创建算子服务

  4. 在创建抽屉中,按上文「配置规划」逐项填写:

    • 服务名称:用于区分多个算子服务,建议体现业务用途,例如 mm-doorface-prod

    • 服务类型:多模服务。

    • Ray Worker 配置:填写资源规格、磁盘大小、数量最小值与最大值。

    • 目标检测加速人脸识别加速:按业务勾选并选择 GPU 加速CPU 加速

    • 网络配置:确认 ENI 开关已启用(默认)。

  5. 单击确定。服务进入创建中状态,通常 5~10 分钟后变为运行中

  6. 服务进入运行中后,在服务地址列复制 VPC Endpoint,即可在业务应用中调用。具体调用方式见调用算子服务

调用算子服务

服务进入运行中后,可在列表的服务地址列或详情抽屉中获取 VPC Endpoint:

Endpoint 类型

适用场景

VPC Endpoint

业务应用部署在同 VPC 内访问。网络延迟更低,流量不出公网。

具体的接口协议、参数和调用示例,请按业务场景查阅对应文档:

  • 声纹检索:声纹库管理、1:1 声纹比对与 1:N 声纹库检索,适用于说话人身份识别、声纹认证、服务质检等场景。

  • 图像检索:基于多模服务实现以图搜图、目标检测、人脸特征比对。

  • 视频关键事件提取与检索:基于多模服务实现视频中关键事件的抽取与检索。

  • PDF 智能解析:提取 PDF 中的文本、表格等结构化数据。

说明

同一个算子服务的 Endpoint 可同时供上述多个业务场景使用,无需为每个场景单独创建一个算子服务

管理算子服务生命周期

状态机

算子服务在生命周期中会经历以下 4 种状态:

状态

说明

建议动作

创建中

底层 AI 资源组正在拉起,通常持续 5~10 分钟。

等待。期间无法调用。

运行中

服务正常,可通过 Endpoint 接收推理请求。

复制 Endpoint 开始调用。

创建失败

资源准备失败。详情抽屉暂不展示失败原因。

删除后重建。反复失败时参见常见问题

删除中

正在释放底层 AI 资源组。

等待自动消失。期间无法重用该服务名称。

查找算子服务

列表页支持三种筛选条件组合查询:

筛选项

用法

服务名称

按关键词模糊匹配。

服务类型

按多模服务等类型筛选。

服务状态

按运行中、创建中等状态筛选。

查看服务详情

在列表的操作列单击详情,右侧滑出详情抽屉,包含以下信息:

  • 基本信息:服务名称、服务类型、状态、创建时间、更新时间。

  • 服务地址:VPC Endpoint。仅在运行中后有具体值。

  • 资源配置:Ray 资源组名称、Ray Head 配置(资源规格、磁盘大小)、Ray Worker 配置(资源规格、磁盘大小、数量最小值与最大值)、加速配置(如启用,会显示对应字段)。

  • 网络配置:ENI 挂载状态。

关于底层 AI 资源组

算子服务在底层会自动创建一个专属 AI 资源组(类型为 AI RayCluster),用于承载 Ray Head 与 Ray Worker。

  • 集群管理 > 资源管理 > 资源组管理页签中可查看这个资源组,名称即详情抽屉中的「Ray 资源组名称」。

  • 该资源组与算子服务一一绑定,请不要手动修改或删除,否则会导致服务异常。

  • 删除算子服务时,绑定的资源组会同步释放,无需手动清理

删除算子服务

警告

删除不可恢复。删除后服务立即停止,调用方将无法访问 Endpoint。请确保已切换或下线调用方应用。

  1. 在列表的操作列单击删除

  2. 在弹出的「确定删除算子服务 服务名称?」对话框中,确认服务名称后单击确定

  3. 服务进入删除中,资源组释放完成后从列表移除(通常持续 1~2 分钟)。

常见问题

服务长时间停留在「创建中」或进入「创建失败」

最常见的三个原因:

  1. 未开通算子服务:前往开通算子服务,按引导完成订单(按调用量后付费)。开通后请重新创建。

  2. VPC 内 ENI 配额或可用 IP 不足:检查 VPC 网段剩余可用 IP,必要时切换可用区或扩容 VPC 网段。

  3. 集群处于非「运行中」状态:在集群列表确认集群状态为「运行中」(而非「创建网络中」「升级中」等过渡态)后再创建。

排查后请删除失败的服务并重建(创建失败状态不会自动恢复)。

Endpoint 调用不通

按以下顺序检查:

  1. 服务状态是否为运行中(创建中状态无法调用)。

  2. 调用源是否在同一 VPC 内——VPC Endpoint 只能从同 VPC 内访问。

  3. 业务文档(图像检索、视频检索)中的接口路径与参数是否传对。

Worker 没有按预期弹性扩容

  • 扩容触发依赖当前负载和 Worker 资源使用率。低 QPS 场景可能始终保持在数量最小值。

  • 检查数量最大值是否大于数量最小值——相等时无扩缩空间。

  • 如需调整最小/最大值,请删除服务后重建。

删除服务后资源组还在

释放需要 1~2 分钟。若超过 5 分钟仍可见,请刷新集群管理 > 资源管理 > 资源组管理页面;持续异常请提交工单。