使用AI节点部署模型服务_云原生数据仓库AnalyticDB(AnalyticDB)-阿里云帮助中心

本文档介绍如何使用AI节点完成模型服务的部署、测试和卸载操作，帮助您快速上手并管理模型服务。

前提条件

已为云原生数据仓库AnalyticDB PostgreSQL版实例添加AI节点。您可以在创建实例时开启AI节点功能并购买AI节点，或者为已有实例开启AI节点功能并添加AI节点。

部署模型服务

登录云原生数据仓库AnalyticDB PostgreSQL版控制台，找到目标实例，单击实例ID。
单击左侧菜单栏的AI节点>模型部署。
单击页面左上方的模型部署，在对话框中单击确定。
设置模型部署参数后，单击对话框下方的确定，开始部署模型。
部署完成后，单击模型部署所在行操作列的连接信息，可以查看模型内网地址、模型公网地址和API_KEY信息。

测试模型服务

您可以参考以下命令测试模型服务。

重要

访问模型服务需要将源端IP地址加入到白名单列表中。您可以在部署模型服务时设置，也可以单击模型部署所在行操作列的白名单配置修改白名单。

curl -k 'your-api-url-here/v1/rerank' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer your-api-key-here' \
-d '{
  "model": "Qwen3-Reranker-8B",
  "query": "如何学习机器学习？",
  "documents": ["文本1", "文本2", "文本3"],
  "top_k": 5
}'

卸载模型服务

重要

删除AI节点前，必须先卸载模型服务。绑定状态的AI节点无法删除。

单击模型部署所在行操作列的卸载模型，删除模型服务。删除后，对应AI节点状态更新为未绑定。