AI模型与部署

Hologres提供了多种内置AI模型,支持各类AI场景应用。用户可根据实际业务需求,通过Hologres控制台部署相应的模型。本文介绍了这些AI模型及其部署方式。

模型列表

Hologres V3.2及以上版本支持以下Hologres内置模型。

模型名称

单副本推荐部署的最小CPU规格(Core)

单副本推荐部署的最小内存规格(GB)

单副本推荐部署的最小卡数(张)

单副本推荐部署的最小GPU显存(GB)

说明

Qwen/Qwen3-0.6B

7

30

单卡/多卡

4 GB

无。

Qwen/Qwen3-1.7B

7

30

单卡/多卡

8 GB

Qwen/Qwen3-4B

7

30

单卡/多卡

16 GB

Qwen/Qwen3-8B

7

30

单卡/多卡

32 GB

Qwen/Qwen3-14B

7

30

单卡/多卡

48 GB

Qwen/Qwen3-32B

7

30

单卡/多卡

96 GB

iic/nlp_structbert_sentiment-classification_chinese-base

7

30

单卡

4 GB

iic/nlp_gte_sentence-embedding_chinese-base

7

30

单卡

12 GB

输出向量维度:768。

iic/nlp_gte_sentence-embedding_chinese-large

7

30

单卡

16 GB

输出向量维度:1024。

iic/nlp_gte_sentence-embedding_chinese-small

7

30

单卡

8 GB

输出向量维度:512。

Qwen/Qwen3-Embedding-0.6B

7

30

单卡

8 GB

无。

Qwen/Qwen3-Embedding-4B

7

30

单卡

32 GB

Qwen/Qwen3-Embedding-8B

7

30

单卡

48 GB

recursive-character-text-splitter

15

30

0

0

根据实际业务量选择CPU规格,可以不需要设置GPU卡数。

BAAI/bge-base-en-v1.5

7

30

单卡

12 GB

输出向量维度:768。

BAAI/bge-base-zh-v1.5

7

30

单卡

12 GB

输出向量维度:768。

BAAI/bge-large-en-v1.5

7

30

单卡

16 GB

输出向量维度:1024。

BAAI/bge-large-zh-v1.5

7

30

单卡

16 GB

输出向量维度:1024。

BAAI/bge-small-en-v1.5

7

30

单卡

8 GB

输出向量维度:384。

BAAI/bge-small-zh-v1.5

7

30

单卡

8 GB

输出向量维度:512。

前提条件

购买AI资源

部署说明

  • 您可以根据上述的模型列表选择合适的模型进行部署,每个模型必须分配规定的最小的AI资源才能进行部署。

  • 允许一个实例部署多个模型,但是总资源不能超过所购买的AI总资源,如果AI资源不足,请扩容。

  • 对于主从实例:仅支持主实例部署模型,以及模型的相关操作(更改资源、删除模型等),从实例可以查看主实例部署的模型,也可以使用AI Function调用模型。

模型部署

  1. 登录Hologres管理控制台,在左上方选择地域。

  2. 在左侧导航栏单击实例列表,然后单击目标实例ID。

  3. 实例详情页面,单击AI节点

  4. 模型列表区域,单击部署模型

  5. 在部署模型对话框,填写模型名称并选择模型类型

    资源配置的相关参数会根据已选择模型类型进行填写。

  6. 配置完成后,单击确认,进行模型部署。

    您可以在模型列表查看模型部署状态并进行以下操作:

    • 调整模型配置:单击目标模型操作列中的调整配置

    • 删除模型:单击目标模型操作列中的删除

      说明

      删除模型时不会校验正在调用的服务,请谨慎操作。

下一步

模型部署完成后,您可通过AI Function进行调用,详情请参见AI Function