Hologres提供了多种内置AI模型,支持各类AI场景应用。用户可根据实际业务需求,通过Hologres控制台部署相应的模型。本文介绍了这些AI模型及其部署方式。
模型列表
仅Hologres V3.2及以上版本支持以下Hologres内置模型。
模型名称 | 单副本推荐部署的最小CPU规格(Core) | 单副本推荐部署的最小内存规格(GB) | 单副本推荐部署的最小卡数(张) | 单副本推荐部署的最小GPU显存(GB) | 说明 |
Qwen/Qwen3-0.6B | 7 | 30 | 单卡/多卡 | 4 GB | 无。 |
Qwen/Qwen3-1.7B | 7 | 30 | 单卡/多卡 | 8 GB | |
Qwen/Qwen3-4B | 7 | 30 | 单卡/多卡 | 16 GB | |
Qwen/Qwen3-8B | 7 | 30 | 单卡/多卡 | 32 GB | |
Qwen/Qwen3-14B | 7 | 30 | 单卡/多卡 | 48 GB | |
Qwen/Qwen3-32B | 7 | 30 | 单卡/多卡 | 96 GB | |
iic/nlp_structbert_sentiment-classification_chinese-base | 7 | 30 | 单卡 | 4 GB | |
iic/nlp_gte_sentence-embedding_chinese-base | 7 | 30 | 单卡 | 12 GB | 输出向量维度:768。 |
iic/nlp_gte_sentence-embedding_chinese-large | 7 | 30 | 单卡 | 16 GB | 输出向量维度:1024。 |
iic/nlp_gte_sentence-embedding_chinese-small | 7 | 30 | 单卡 | 8 GB | 输出向量维度:512。 |
Qwen/Qwen3-Embedding-0.6B | 7 | 30 | 单卡 | 8 GB | 无。 |
Qwen/Qwen3-Embedding-4B | 7 | 30 | 单卡 | 32 GB | |
Qwen/Qwen3-Embedding-8B | 7 | 30 | 单卡 | 48 GB | |
recursive-character-text-splitter | 15 | 30 | 0 | 0 | 根据实际业务量选择CPU规格,可以不需要设置GPU卡数。 |
BAAI/bge-base-en-v1.5 | 7 | 30 | 单卡 | 12 GB | 输出向量维度:768。 |
BAAI/bge-base-zh-v1.5 | 7 | 30 | 单卡 | 12 GB | 输出向量维度:768。 |
BAAI/bge-large-en-v1.5 | 7 | 30 | 单卡 | 16 GB | 输出向量维度:1024。 |
BAAI/bge-large-zh-v1.5 | 7 | 30 | 单卡 | 16 GB | 输出向量维度:1024。 |
BAAI/bge-small-en-v1.5 | 7 | 30 | 单卡 | 8 GB | 输出向量维度:384。 |
BAAI/bge-small-zh-v1.5 | 7 | 30 | 单卡 | 8 GB | 输出向量维度:512。 |
前提条件
已购买AI资源。
部署说明
您可以根据上述的模型列表选择合适的模型进行部署,每个模型必须分配规定的最小的AI资源才能进行部署。
允许一个实例部署多个模型,但是总资源不能超过所购买的AI总资源,如果AI资源不足,请扩容。
对于主从实例:仅支持主实例部署模型,以及模型的相关操作(更改资源、删除模型等),从实例可以查看主实例部署的模型,也可以使用AI Function调用模型。
模型部署
登录Hologres管理控制台,在左上方选择地域。
在左侧导航栏单击实例列表,然后单击目标实例ID。
在实例详情页面,单击AI节点。
在模型列表区域,单击部署模型。
在部署模型对话框,填写模型名称并选择模型类型。
资源配置的相关参数会根据已选择模型类型进行填写。
配置完成后,单击确认,进行模型部署。
您可以在模型列表查看模型部署状态并进行以下操作:
调整模型配置:单击目标模型操作列中的调整配置。
删除模型:单击目标模型操作列中的删除。
说明删除模型时不会校验正在调用的服务,请谨慎操作。
下一步
模型部署完成后,您可通过AI Function进行调用,详情请参见AI Function。