文档

模型部署

更新时间:
一键部署

模型部署

模型部署支持用户部署训练完成的模型或系统预置的模型,模型需要部署成功后方可正式提供模型服务,用于模型调用或评测,模型部署支持使用预付费资源和后付费资源两种方式,模型部署成功后将持续计费,支持随时扩缩容或上下线,下线后此模型将不再计费

注意:部署模型将产生模型部署费用,部署价格点击查看产品计费。模型部署成功后,系统将开始计费,手动下线后模型将不再计费(部署失败除外),不同状态下计费逻辑请参考文章最后的表格

路径:模型中心-模型部署-部署新模型

image

点击【部署新模型】后--选择合适的模型进行部署

  • 自定义模型:由用户自己进行SFT训练得到的模型,部署后可提供模型服务,首次部署没有可选自定义模型。

  • 预置模型:未经训练,系统提供的预置基础大模型,直接部署基础模型提供服务。

image

点击【下一步】选择对应的资源配置

  • 包月资源:选择已购买的包月预付费资源组,不同的模型所需要的资源不同,选择模型后,系统将自动筛选需要的资源类型,预付费资源按月售卖,性价比更高

  • 按量付费:选择后付费的模式,即刻完成部署,系统将在部署成功后开始计费,付费模式更加动态,无到期时间,随时上下线。

image

最后点击【开始部署】等待状态更新为部署成功。

image

系统将弹窗告知部署所需的费用,点击确认后,系统将开始部署,部署成功后开始收费

image

image

部署完成后,模型运行态将变更为运行中,可以操作查看、扩缩容、下线。部署失败支持重新部署,各操作说明如下:

  • 查看:查看模型部署的详情,包括资源、模型类型等。

  • 重新部署:部署失败后,可点击重新部署重启部署任务,完成部署任务。

  • 扩缩容:变配资源配置,可增加资源或减少资源,变更成功后,系统将按变更后实际使用的资源计费。

  • 下线:可将部署中的任务下线,下线后该任务将会自动删除。

  • 删除:部署失败、欠费下线后,可删除模型,删除后不再计费。

状态

操作

计费情况

部署中

查看

此状态不计费

运行中

查看、扩缩容、下线

此状态持续计费,点击下线后部署任务消失,停止计费

欠费停服

查看、删除

此状态不计费,欠费状态不会持续计费,但充值后,模型将恢复服务,自动恢复后将开始计费,点击删除后部署任务消失,不再计费

欠费恢复中

查看

此状态不计费,表示账户已充值,系统自动恢复服务中,服务恢复后,状态变换为运行中将恢复计费

部署失败

查看、删除、重新部署

此状态不计费,重新部署成功后变为运行中状态将进行计费,点击删除后部署任务消失,不再计费

  • 本页导读 (1)
文档反馈