基于ACK搭建具备大模型和向量检索功能的知识库应用程序

• 需要为集群添加GPU节点。GPU机型需要为V100、A10系列，不支持vGPU。为避免显存不足，建议GPU机型的显存≥24 GiB。

• 需要为集群配置NAT网关，使您的集群节点和应用具有公网访问能力。

如何更换模型？

1. 下载模型。

   若需部署其他开源模型，需从HuggingFace/ModelScope下载模型并存储至OSS/NAS。例如支持替换以下模型列表，具体兼容类型，请参见langchain-chatchat。

   模型类型	模型名称	容器内模型文件路径
   DeepGPU-LLM转换模型	qwen-7b-chat-aiacc	/llm-model/qwen-7b-chat-aiacc
   DeepGPU-LLM转换模型	qwen-14b-chat-aiacc	/llm-model/qwen-14b-chat-aiacc
   DeepGPU-LLM转换模型	chatglm2-6b-aiacc	/llm-model/chatglm2-6b-aiacc
   DeepGPU-LLM转换模型	baichuan2-7b-chat-aiacc	/llm-model/baichuan2-7b-chat-aiacc
   DeepGPU-LLM转换模型	baichuan2-13b-chat-aiacc	/llm-model/baichuan2-13b-chat-aiacc
   DeepGPU-LLM转换模型	llama-2-7b-hf-aiacc	/llm-model/llama-2-7b-hf-aiacc
   DeepGPU-LLM转换模型	llama-2-13b-hf-aiacc	/llm-model/llama-2-13b-hf-aiacc
   开源模型	qwen-7b-chat	/llm-model/Qwen-7B-Chat
   开源模型	qwen-14b-chat	/llm-model/Qwen-14B-Chat
   开源模型	chatglm2-6b	/llm-model/chatglm2-6b
   开源模型	chatglm2-6b-32k	/llm-model/chatglm2-6b-32k
   开源模型	baichuan2-7b-chat	/llm-model/Baichuan2-7B-Chat
   开源模型	baichuan2-13b-chat	/llm-model/Baichuan2-13B-Chat
   开源模型	llama-2-7b-hf	/llm-model/Llama-2-7b-hf
   开源模型	llama-2-13b-hf	/llm-model/Llama-2-13b-hf

2. （可选）转换模型。

   本文的Langchain-chatchat项目已安装DeepGPU-LLM转换模型，默认使用DeepGPU-LLM加速后的模型qwen-7b-chat-aiacc。

   如需使用DeepGPU-LLM对其他开源LLM模型进行推理优化，您需要先将huggingface格式的开源模型转换为DeepGPU-LLM支持的格式，然后才能使用DeepGPU-LLM进行模型的推理优化服务。

   以qwen-7b-chat为例，您可以使用以下命令在容器中进行模型格式转换；也可以在安装推理引擎DeepGPU-LLM后，使用DeepGPU-LLM进行模型格式转换。具体操作，请参见安装并使用DeepGPU-LLM。

   # qwen-7b weight convert
   huggingface_qwen_convert \
       -in_file /llm-model/Qwen-7B-Chat \
       -saved_dir /llm-model/qwen-7b-chat-aiacc \
       -infer_gpu_num 1 \
       -weight_data_type fp16 \
       -model_name qwen-7b

3. 创建静态PV及PVC。

   1. 以OSS为例，模型下载完成后，执行以下命令，创建Secret。

      kubectl create -f oss-secret.yaml

      以下为创建Secret的oss-secret.yaml示例文件，需要指定akId和akSecret。

      apiVersion: v1
      kind: Secret
      metadata:
        name: oss-secret
        namespace: default
      stringData:
        akId: <your AccessKeyID>
        akSecret: <your AccessKeySecret>

   2. 执行以下命令，创建静态卷PV。

      kubectl create -f model-oss.yaml

      以下为创建静态卷PV的model-oss.yaml示例文件，需要指定Bucket、URL等参数。

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: model-oss
        labels:
          alicloud-pvname: model-oss
      spec:
        capacity:
          storage: 30Gi 
        accessModes:
          - ReadOnlyMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: ossplugin.csi.alibabacloud.com
          volumeHandle: model-oss
          nodePublishSecretRef:
            name: oss-secret
            namespace: default
          volumeAttributes:
            bucket: "<Your_Bucket_Name>"
            url: "<Your_OSS_Endpoint>" # 本文的URL为oss-cn-hangzhou.aliyuncs.com。
            otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
            path: "/"

   3. 执行以下命令，创建静态卷PVC。

      kubectl create -f model-pvc.yaml

      以下为创建静态卷PVC的model-pvc.yaml示例文件。

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: model-pvc
      spec:
        accessModes:
          - ReadOnlyMany
        resources:
          requests:
            storage: 30Gi
        selector:
          matchLabels:
            alicloud-pvname: model-oss

   具体参数配置，请参见使用OSS静态存储卷。

4. 更新Helm Value。

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

   3. 在Helm页面，找到部署的langchain-chatchat服务，单击操作列的更新，更改llm.model为新的模型名称，llm.modelPVC为存储新模型的PVC名称。模型名称及模型挂载路径请参见支持的模型列表。

如何使用ECI Pod方式部署？

修改参数配置，将llm.pod.instanceType和chat.pod.instanceType设置为eci。ECI类型默认的Annotation及Label配置如下。您可以参考文档ECI Pod Annotation查看Annotation的详细信息。

annotations:
  k8s.aliyun.com/eci-use-specs: ecs.gn6i-c8g1.2xlarge,ecs.gn6i-c16g1.4xlarge,ecs.gn6v-c8g1.8xlarge,ecs.gn7i-c8g1.2xlarge,ecs.gn7i-c16g1.4xlarge
  k8s.aliyun.com/eci-extra-ephemeral-storage: "50Gi"
labels:
  alibabacloud.com/eci: "true"

如果您更改了镜像或者模型，则需要修改注解k8s.aliyun.com/eci-use-specs及k8s.aliyun.com/eci-extra-ephemeral-storage，否则会产生因资源不足应用无法启动的问题。ECI产品计费请参考计费概述。

如何加快文本向量化速度？

应用内置的embedding模型为text2vec-bge-large-chinese，详细信息，请参见text2vec-bge-large-chinese。

chat应用默认使用CPU运行embedding模型，可通过在chat.pod.resources中申请GPU资源来提高文本向量化速度。

 resources:
   limits:
     nvidia.com/gpu: "1"
 requests:
   cpu: "4"
   memory: 8Gi
   nvidia.com/gpu: "1"

如何指定向量数据库类型？

支持的向量数据库包括faiss和阿里云云原生数据仓库AnalyticDB PostgreSQL。

• faiss是由Facebook开源的一款内存向量库，faiss内存数据库部署在chat pod中，受chat pod的资源约束。如果使用faiss向量数据库，建议增加chat pod的内存资源。

• 云原生数据仓库AnalyticDB PostgreSQL是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据的在线分析服务。

Langchain-chatchat项目中使用的ADB需要满足以下条件：

• 需开启向量引擎优化功能。

• 计算节点规格≥ 4核16 GiB。

• 修改参数db.dbType为adb，并填写db.adb中的数据库信息。

db:
 dbType: adb
 embeddingModel: text2vec-bge-large-chinese
 adb:
   pgHost: "pg.host.demo.com"
   pgPort: "5432"
   pgDataBase: "langchain"
   pgUser: "langchain"
   pgPassword: "pg_password"

如何修改服务副本数量？

将llm.pod.replicas设置为需要的推理服务副本数量。

llm:
 model: qwen-7b-chat-aiacc
 modelPVC: "" # PVC名称。
 load8bit: true
 pod:
   replicas: 1 # 模型推理服务副本数量。

将chat.pod.replicas设置为需要的应用服务副本数量。

chat:
 kbPVC: ""
 pod:
   replicas: 1 # 模型应用服务副本数量。