手动部署
90
https://www.aliyun.com/solution/tech-solution/analyticdb-rag
方案概览
大模型虽然可以理解并生成自然语言,但由于缺乏特定领域的专业知识、没有企业的私域知识、知识更新不及时等问题,无法直接用于企业的AI智能客服。为了解决这一问题,企业可以采用RAG技术,从外部知识库(企业的私域知识)检索知识。召回的知识将和原始查询融合成prompt,为大模型提供更丰富的上下文信息,从而生成更加准确的回答。本方案将指导您快速创建一个RAG应用(AnalyticDB for PostgreSQL向量存储+通义千问LLM模型),实现企业的AI智能客服,更高效地解决客户问题。
方案优势
简单易用:只需简单的页面点击,即可实现知识检索增强,使大模型有更丰富的上下文信息并生成更准确的答案。同时,本方案提供智能客服的示例代码,方便您快速体验AI智能客服。
灵活且安全管理:向量数据存储在AnalyticDB for PostgreSQL,企业可灵活管理数据。配套的审计、权限管理等功能可满足企业安全合规需求。
性价比高:完成本方案的部署及体验,预计产生费用不超过10元(假设您选择部署准备中相关规格资源,且运行时间不超过1小时,如果调整了资源规格,请以控制台显示的价格以及最终账单为准)。
方案架构
在阿里云上搭建的云上私有网络如图所示。实际部署时,您可以根据资源规划修改部分设置,但最终形成的运行环境与下图相似。
本方案的技术架构包括以下基础设施和云服务:
1个专有网络 VPC:将云原生数据仓库 AnalyticDB PostgreSQL 版实例部署在专有网络中。
1台交换机:将云服务器 ECS实例和云原生数据仓库 AnalyticDB PostgreSQL 版实例部署在交换机中,实现它们之间的网络通信。
1台云服务器 ECS:用于部署智能客服。
1个云原生数据仓库 AnalyticDB PostgreSQL 版实例:提供向量数据存储和检索服务。
阿里云百炼:一站式的企业专属大模型生产平台。在本方案中,提供通义千问LLM模型的调用以及知识索引功能。
部署准备
开始部署前,请按以下指引完成账号申请、账号充值等准备工作。
准备账号
资源开通
如果您是首次访问阿里云百炼服务平台,请按照以下步骤进行开通。
登录阿里云百炼大模型服务平台。
如果页面顶部显示
,您需要开通阿里云百炼的模型服务,并获得免费额度。如果未显示该消息,则表示您已经开通。如果开通服务时提示“您尚未进行实名认证”,请先进行个人实名认证。
首次开通百炼后,您可领取新人免费额度(有效期:30至180天),用于模型推理服务。超出额度或期限将产生费用,具体费用请以控制台的实际报价和最终账单为准。免费额度领取方法和详情,请查看新人免费额度页面。
部署资源
20
请按照以下步骤部署方案中的所有资源。
创建专有网络VPC和交换机
您需要将云服务器 ECS和云原生数据仓库 AnalyticDB PostgreSQL 版等资源部署在同一个网络环境中。因此,您需要创建1个专有网络和1个交换机。
登录专有网络管理控制台。
在左侧导航栏,单击专有网络。在顶部菜单栏,选择地域(本文以华东1(杭州)地域为例)。
在专有网络页面,单击创建专有网络。
在创建专有网络页面,配置1个专有网络和1台交换机。配置交换机时,请确保交换机所属的可用区的云服务器 ECS、云原生数据仓库 AnalyticDB PostgreSQL 版处于可用状态。
项目
说明
示例值
VPC名称
建议您在部署过程中新建一个VPC作为本方案的专有网络。部署过程中填写VPC名称即可创建对应名称的VPC。
长度为2~128个字符,以英文大小写字母或中文开头,可包含数字、下划线(_)和连字符(-)。
vpc_RAG
IPv4网段
在创建VPC时,您必须按照无类域间路由块(CIDR block)的格式为您的专有网络划分私网网段。阿里云VPC支持的网段信息请参见专有网络组成部分。
在网络规划时可以按照管理网段-开发网段-测试网段-生产网段等规则做好规划。网段一旦投入使用,调整过程复杂,因此规划十分重要。
192.168.0.0/16
交换机名称
建议您在部署过程中在新建的VPC内创建虚拟交换机。部署过程中填写交换机名称即可创建对应名称的虚拟交换机。
长度为2~128个字符,以英文大小字母或中文开头,可包含数字、下划线(_)和连字符(-)。
vsw_RAG
可用区
在规划的地域内选择1个可用区。
杭州 可用区J
创建安全组
您已经在1个专有网络VPC下对应的可用区创建好了1台交换机。接下来您需要创建1个安全组,用于限制云服务器 ECS的网络流入和流出。
在左侧导航栏,选择网络与安全>安全组。
在顶部菜单栏,选择地域(本文以华东1(杭州)地域为例)。
在安全组页面,单击创建安全组。
在创建安全组页面,创建安全组。
项目
说明
示例值
名称
设置安全组的名称。
sg_RAG
网络
选择之前规划的专有网络VPC。
vpc_RAG
安全组类型
本方案用于为个人用户或组织的基础场景提供网络访问控制,建议您选择普通安全组。
普通安全组
在访问规则-入方向中,单击增加规则。将5000填入访问目的(本实例)并单击提交完成添加。
创建云服务器 ECS
您已经创建好专有网络VPC和交换机等资源。接下来您需要创建1个云服务器ECS实例,用于部署AI智能客服。
在左侧导航栏,选择实例与镜像>实例。
在顶部菜单栏,选择地域(本文以华东1(杭州)地域为例)。
在实例页面,单击创建实例。
在云服务器ECS购买页面,创建云服务器ECS。
参数
说明
示例值
付费类型
付费类型影响实例的计费和收费规则。ECS 计费的详细信息请参见计费方式概述。
按量付费
地域
实例所在地域。
华东1(杭州)
网络及可用区
选择VPC 和交换机。
vpc_RAG、vsw_RAG
实例
ECS 的实例规格及内核、vCPU数量。关于 ECS 选型的最佳实践请参见实例规格选型指导。
经济型 e(ecs.e-c1m1.large 2vCPU 2GiB)
镜像
ECS 的“装机盘”,为 ECS 实例提供操作系统、预装软件等。
在公共镜像中选择 Alibaba Cloud Linux
镜像版本
镜像的版本。
Alibaba Cloud Linux 3.2104 LTS 64位
系统盘类型
硬盘类型。
ESSD Entry
系统盘容量
硬盘容量。
40 GiB
公网 IP
用于在云服务器ECS中从公网下载相关应用程序。
选中分配公网 IPv4 地址
带宽计费模式
由于本方案为解决方案示例,因此选择按使用流量,以节省流量成本。
按使用流量
带宽峰值
本方案以5 Mbps为例。
5 Mbps
安全组
使用之前创建的安全组。选择已有安全组。
sg_RAG
管理设置
选择设置自定义密码,方便后续登录机器安装服务环境。
自定义密码
创建云原生数据仓库 AnalyticDB PostgreSQL 版
您已经创建好了1台云服务器 ECS。接下来您需要创建云原生数据仓库 AnalyticDB PostgreSQL 版实例。
在顶部菜单栏,选择地域(本文以华东1(杭州)地域为例)。
创建云原生数据仓库 AnalyticDB PostgreSQL 版实例:
在实例列表页面的右上角,单击新建实例。
在购买页面,购买1个云原生数据仓库 AnalyticDB PostgreSQL 版实例。
参数
说明
示例值
商品类型
实例的计费方式:
包年包月:属于预付费,即在新建实例时需要支付费用。适合长期需求,价格比按量付费更实惠,且购买时长越长,折扣越大。
按量付费:属于后付费,即按小时扣费。适合短期需求,用完可立即释放实例,节省费用。更多信息,请参见计费项概述。
按量付费
地域和可用区
建议选择华北2 可用区I、华北2 可用区H、华东1 可用区J、华东2 可用区L。
需与ECS实例位于相同地域。
华东1(杭州)
可用区 J
实例资源类型
实例的资源类型分为存储弹性模式和Serverless模式。要使用向量数据存储和向量检索,请选择存储弹性模式。
存储弹性模式
实例系列
高性能(基础版)仅用于测试学习,生产环境请使用高可用版。
高可用版提供可用性SLA保证,推荐企业核心业务选择。
高性能(基础版)
引擎版本
实例的引擎版本。本方案需要选择6.0标准版。
6.0标准版
向量引擎优化
选择开启向量引擎优化。
开启向量引擎优化可以提升实例的向量分析性能,但是向量引擎优化会大幅占用实例的内存资源,且实例的并发度会有大幅下降。
AIGC、向量检索等场景,推荐开启向量引擎优化。
开启
Master资源
选择Master资源规格。建议Master的CU数与Segment的CPU核数相同。
4 CU(免费)
节点规格(Segment)
选择计算节点规格。
4C16G
节点数量(Segment)
选择计算节点数量,节点个数的增加可以线性地提升性能。
2个
存储磁盘类型
选择数据存储的磁盘类型。
不同类型磁盘的性能差异,请参见块存储性能。
ESSD云盘 PL1
加密类型
选择不加密或云盘加密。
不加密
节点存储容量(Segment)
实例中每个节点独享的存储空间大小,存储容量范围为50 GB~8000 GB。
50 GB
专有网络(VPC)
选择之前规划的专有网络VPC及交换机。
需与ECS实例位于相同VPC。
专有网络交换机
样本数据
选择是否加载样本数据。关于样本数据集的具体信息,请参见管理样本数据集。
不加载
部署AI智能客服
45
接下来,您将了解如何在您的AI智能客服应用中调用大模型的能力来回答客户问题。
创建大模型应用并配置知识库
要在AI智能客服系统中调用大模型回答企业产品的相关知识,您需要首先创建一个大模型应用,并将企业产品知识导入知识库作为大模型可参考的外部数据源。
创建大模型应用
在阿里云百炼的应用管理页面,单击创建应用按钮。

在弹窗中选择智能体应用,输入任意应用名称后单击立即创建。

在应用中选择通义千问 3(通义千问-Plus) 模型,最长回复长度设定为 8192,开启思考模式。

在左侧导航栏中选择记忆,携带上下文轮数设定为 30。

单击右上角发布并在弹出对话框中点击确认发布。在页面右侧,输入问题验证模型效果。
您会发现,目前它还无法作为某个手机厂商的客服去回答该公司的手机商品信息。我们将在步骤2中解决这一问题。

为大模型应用配置知识库
上传文件:在阿里云百炼控制台应用数据页面中,单击+导入数据,根据引导上传用于示例的百炼系列手机产品介绍.docx。
建立索引:知识库将为上一步导入的文档建立索引,用于后续大模型回答时知识检索。
进入知识库页面,单击创建知识库。填写知识库名称,其他设置可保持默认,单击下一步。
单击选择文件,勾选前一步中上传的文件,并单击下一步。
选择向量存储为ADB-PG,region选择杭州,向量存储选择部署资源阶段创建的AnalyticDB for PostgreSQL实例,然后单击导入完成。
ADB-PG,即AnalyticDB for PostgreSQL,作为统一的向量存储,可以满足多个应用的向量数据集中存储、灵活管理的需求。同时,AnalyticDB for PostgreSQL提供监控、SQL审计、权限管理等特性保障企业数据安全。

引用知识:完成知识库的创建后,在左侧导航栏单击应用管理。找到步骤1中创建的大模型应用,单击卡片上的配置。
在左侧导航栏中选择知识,然后单击文档右侧的+按钮,为模型添加知识库。

在选择知识库页签下,选择刚创建的知识库,单击添加,页面弹出添加成功提示。
单击发布按钮。

获取调用大模型应用所需的凭证
为了在智能问答应用中通过API调用大模型应用的能力,我们需要获取阿里云百炼应用的API-KEY和应用 ID:
在ECS上部署AI智能客服
开通了云资源后,接下来您需要执行以下操作部署示例应用:
远程连接云服务器ECS。
登录ECS管理控制台,在实例页面,找到前面步骤所创建的 ECS 实例。
在右侧操作列,单击远程连接,并选择通过Workbench远程连接。根据页面提示登录,进入终端页面。具体操作请参见:使用Workbench登录ECS实例。
配置Python环境。
更新系统并安装依赖。
sudo yum update -y && \ sudo yum groupinstall "Development Tools" -y && \ sudo yum install openssl-devel bzip2-devel libffi-devel -y下载、解压并安装Python 3.9。
cd /usr/src && \ sudo curl -O https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz && \ sudo tar xzf Python-3.9.0.tgz && \ cd Python-3.9.0 && \ sudo ./configure --enable-optimizations && \ sudo make altinstall
下载智能问答的示例代码,请参见demo.zip。
在云服务器ECS 根目录下上传示例代码文件。
点击页面左上方的文件并点击下拉菜单中的打开新文件管理。

点击并进入root文件夹。

点击上传文件并将之前下载好的代码压缩文件进行上传,上传成功后如下图所示。

关闭File Navigator并在控制台中执行后续操作。
解压示例代码的压缩包,进入到示例代码demo目录。
cd ~ sudo yum install unzip unzip demo.zip cd demo创建并激活虚拟环境,并安装示例代码的Python依赖包:
python3.9 -m venv $(pwd)/venv source $(pwd)/venv/bin/activate pip install -r requirements.txt获取ECS实例公网IP地址并配置环境变量。
获取ECS实例公网 IP 地址。
登录 ECS控制台,在实例页面,找到目标实例,在IP 地址列可以查看到公网IP。
配置环境变量。
说明替换
"阿里云百炼平台的API密钥"为前面步骤获取的阿里云百炼 API-KEY;替换"APP_ID"为前面步骤获取的智能体应用ID;替换ECS_NETWORK_IP为ECS实例的公网IP地址。cat << EOF >> ~/.bashrc export DASHSCOPE_API_KEY="阿里云百炼平台的API密钥" export APP_ID="APP_ID" export SOCKET_ENDPOINT="ECS_NETWORK_IP:5000" EOF source ~/.bashrc
启动服务。
python app-stream.py返回如下信息,说明启动成功。
* Serving Flask app 'app-stream' * Debug mode: on WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead. * Running on all addresses (0.0.0.0) * Running on http://127.0.0.1:5000 * Running on http://172.30.XX.XX:5000 Press CTRL+C to quit * Restarting with stat * Debugger is active! * Debugger PIN: 100-XX-XX
方案验证
5
完成及清理
10
清理资源
在本方案中,您创建了多个云资源。测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:
释放云服务器ECS实例:
登录ECS控制台,在实例页面,找到目标实例,然后在操作列选择
>释放,根据界面提示释放实例。释放1个云原生数据仓库 AnalyticDB PostgreSQL 版实例:
登录云原生数据仓库AnalyticDB控制台,在实例列表页面找到目标实例,单击实例ID进入实例基本信息页面,然后在基本信息页面中,在右上角单击实例管理 > 实例释放,按照界面提示释放实例。
删除安全组:
登录ECS 控制台,在安全组页面,找到目标安全组,然后在操作列单击删除,按照界面提示删除安全组。
删除交换机:
登录专有网络控制台,在交换机页面,找到目标交换机,然后在操作列单击删除,按照界面提示删除交换机。
释放专有网络VPC:
登录专有网络控制台,在专有网络页面,找到目标VPC,然后在操作列单击删除,按照界面提示释放专有网络VPC。
删除阿里云百炼 API Key :
进入 API Key 管理页面,找到目标 API Key 进行删除,删除后将无法通过该 API Key 调用阿里云百炼提供的模型。
删除阿里云百炼应用和数据:
一键部署
45
https://www.aliyun.com/solution/tech-solution/analyticdb-rag
方案概览
大模型虽然可以理解并生成自然语言,但由于缺乏特定领域的专业知识、没有企业的私域知识、知识更新不及时等问题,无法直接用于企业的AI智能客服。为了解决这一问题,企业可以采用RAG技术,从外部知识库(企业的私域知识)检索知识。召回的知识将和原始查询融合成prompt,为大模型提供更丰富的上下文信息,从而生成更加准确的回答。本方案将指导您快速创建一个RAG应用(AnalyticDB for PostgreSQL向量存储+通义千问LLM模型),实现企业的AI智能客服,更高效地解决客户问题。
方案优势
简单易用:只需简单的页面点击,即可实现知识检索增强,使大模型有更丰富的上下文信息并生成更准确的答案。同时,本方案提供智能客服的示例代码,方便您快速体验AI智能客服。
灵活且安全管理:向量数据存储在AnalyticDB for PostgreSQL,企业可灵活管理数据。配套的审计、权限管理等功能可满足企业安全合规需求。
性价比高:完成本方案的部署及体验,预计产生费用不超过10元(假设您选择部署准备中相关规格资源,且运行时间不超过1小时,如果调整了资源规格,请以控制台显示的价格以及最终账单为准)。
方案架构
在阿里云上搭建的云上私有网络如图所示。实际部署时,您可以根据资源规划修改部分设置,但最终形成的运行环境与下图相似。
本方案的技术架构包括以下基础设施和云服务:
1个专有网络 VPC:将云原生数据仓库 AnalyticDB PostgreSQL 版实例部署在专有网络中。
1台交换机:将云服务器 ECS实例和云原生数据仓库 AnalyticDB PostgreSQL 版实例部署在交换机中,实现它们之间的网络通信。
1台云服务器 ECS:用于部署智能客服。
1个云原生数据仓库 AnalyticDB PostgreSQL 版实例:提供向量数据存储和检索服务。
阿里云百炼:一站式的企业专属大模型生产平台。在本方案中,提供通义千问LLM模型的调用以及知识索引功能。
部署准备
开始部署前,请按以下指引完成账号申请、账号充值等准备工作。
准备账号
资源开通
如果您是首次访问阿里云百炼服务平台,请按照以下步骤进行开通。
登录阿里云百炼大模型服务平台。
如果页面顶部显示
,您需要开通阿里云百炼的模型服务,并获得免费额度。如果未显示该消息,则表示您已经开通。如果开通服务时提示“您尚未进行实名认证”,请先进行个人实名认证。
首次开通百炼后,您可领取新人免费额度(有效期:30至180天),用于模型推理服务。超出额度或期限将产生费用,具体费用请以控制台的实际报价和最终账单为准。免费额度领取方法和详情,请查看新人免费额度页面。
通过Terrafrom模板快速部署
10
通过 Terraform 模板,您可以实现阿里云资源的自动部署。模板以代码形式描述基础设施及其架构,能够自动完成云上资源的创建与配置,显著提升部署效率。本方案提供的 Terraform 模板将自动创建并配置以下资源:
部署1个专有网络 VPC。
部署1台交换机。
部署1台云服务器 ECS,并在服务器上部署Python3.9环境和AI智能客服的示例代码。
部署1个云原生数据仓库 AnalyticDB PostgreSQL 版实例。
如果您希望在已有的 Terraform 环境中部署方案,可先下载Terraform 模板文件,然后通过 Terraform 命令手动完成部署。
创建大模型应用并配置知识库
要在AI智能客服系统中调用大模型回答企业产品的相关知识,您需要首先创建一个大模型应用,并将企业产品知识导入知识库作为大模型可参考的外部数据源。
创建大模型应用
在阿里云百炼的应用管理页面,单击创建应用按钮。

在弹窗中选择智能体应用,输入任意应用名称后单击立即创建。

在应用中选择通义千问 3(通义千问-Plus) 模型,最长回复长度设定为 8192,开启思考模式。

在左侧导航栏中选择记忆,携带上下文轮数设定为 30。

单击右上角发布并在弹出对话框中点击确认发布。在页面右侧,输入问题验证模型效果。
您会发现,目前它还无法作为某个手机厂商的客服去回答该公司的手机商品信息。我们将在步骤2中解决这一问题。

为大模型应用配置知识库
上传文件:在阿里云百炼控制台应用数据页面中,单击+导入数据,根据引导上传用于示例的百炼系列手机产品介绍.docx。
建立索引:知识库将为上一步导入的文档建立索引,用于后续大模型回答时知识检索。
进入知识库页面,单击创建知识库。填写知识库名称,其他设置可保持默认,单击下一步。
单击选择文件,勾选前一步中上传的文件,并单击下一步。
选择向量存储为ADB-PG,region选择杭州,向量存储选择部署资源阶段创建的AnalyticDB for PostgreSQL实例,然后单击导入完成。
ADB-PG,即AnalyticDB for PostgreSQL,作为统一的向量存储,可以满足多个应用的向量数据集中存储、灵活管理的需求。同时,AnalyticDB for PostgreSQL提供监控、SQL审计、权限管理等特性保障企业数据安全。

引用知识:完成知识库的创建后,在左侧导航栏单击应用管理。找到步骤1中创建的大模型应用,单击卡片上的配置。
在左侧导航栏中选择知识,然后单击文档右侧的+按钮,为模型添加知识库。

在选择知识库页签下,选择刚创建的知识库,单击添加,页面弹出添加成功提示。
单击发布按钮。

获取调用大模型应用所需的凭证
为了在智能问答应用中通过API调用大模型应用的能力,我们需要获取阿里云百炼应用的API-KEY和应用 ID:
一键部署AI智能客服
单击部署链接前往ROS控制台,系统自动打开资源栈面板,并在面板内容区域展示模板内容的详细信息。
选择地域后(本教程以华东1(杭州)地域为例),在配置模板参数步骤中填写账号配置、ECS实例配置等参数。
参数
说明
示例值
资源栈名称
资源栈的名称。
默认值
可用区
云服务器 ECS实例所在的可用区。
可用区H
ECS实例规格
云服务器 ECS实例的架构、分类和规格配置。
X86计算 通用型 g6(ecs.g6.large)
2vCPU 8GiB
ECS实例密码
设置实例密码。
自定义密码
阿里云百炼应用的应用ID
阿里云百炼应用 ID。
获取的阿里云百炼应用 ID
阿里云百炼应用的API-KEY
阿里云百炼 API-KEY。
获取的阿里云百炼 API-KEY
完成配置模板参数后,点击下一步:检查并确认,预览确认,点击创建。
说明创建资源,耗时约10分钟,请耐心等待。提示:一键部署将自动检测并引导您创建一个RAM角色策略,若出现如下依赖报错,请直接点击去开通即可

当资源栈信息页面的状态显示为创建成功时表示一键配置完成。
单击资源栈的输出页签,再单击WebUrl对应的URL即可访问AI智能客服。
方案验证
5
完成及清理
5
清理资源
您可以使用ROS一键删除创建的云资源,避免继续产生费用。
登录ROS控制台。
在左侧导航栏,选择资源栈。
在资源栈页面的顶部选择部署的资源栈所在地域,找到资源栈,然后在其右侧操作列,单击删除。
在删除资源栈对话框,选择删除方式为释放资源,然后单击确定,根据提示完成资源释放。
删除阿里云百炼 API Key :
进入 API Key 管理页面,找到目标 API Key 进行删除,删除后将无法通过该 API Key 调用阿里云百炼提供的模型。
删除阿里云百炼应用和数据:



