文档

模型部署

更新时间:

模型部署

模型部署支持用户部署训练完成的模型或系统预置的模型,模型需要部署成功后方可正式提供模型服务,用于模型调用或评测,模型部署支持使用预付费资源和后付费资源两种方式,模型部署成功后将持续计费,支持随时扩缩容或上下线,下线后此模型将不再计费。

注意:部署模型将产生模型部署费用,部署价格请参见产品计费。模型部署成功后,系统将开始计费,手动下线后模型将不再计费(部署失败除外),不同状态下计费逻辑请参考文章最后的表格。

  1. 登录阿里云百炼大模型服务平台

  2. 在左侧导航栏中,选择模型工具 > 模型部署

  3. 模型部署页面,单击部署新模型image

  4. 部署新模型页面,完成相关配置项设置后,单击开始部署image

    配置项

    说明

    选择模型

    • 自定义模型:部署自定义模型前,您需要成功完成模型训练。模型训练的具体操作请参见模型调优

    • 预置模型:未经训练,系统提供的预置基础大模型,直接部署基础模型提供服务。

      如果您创建了多个业务空间,并且需要在子业务空间中部署模型,则需要授权子业务空间使用模型部署功能。具体的授权操作请参见模型广场

    选择资源配置

    • 包月资源:选择已购买的包月预付费资源组,不同的模型所需要的资源不同,选择模型后,系统将自动筛选需要的资源类型,预付费资源按月售卖,性价比更高。

      如果您还没有购买包月资源,请单击前往购买,完成购买后再进行模型部署。image

    • 按量付费:选择后付费的模式,即刻完成部署,系统将在部署成功后开始计费,付费模式更加动态,无到期时间,随时上下线。

    模型服务名称

  5. 在二次确认对话框中,单击开始部署image模型部署页面,您可以查看模型的部署状态。您也可以单击image图标,获取最新部署状态。image部署完成后,模型运行态将变更为运行中,可以操作查看、扩缩容、下线。部署失败支持重新部署,各操作说明如下:

    • 查看:查看模型部署的详情,包括资源、模型类型等。

    • 重新部署:部署失败后,可单击重新部署重启部署任务,完成部署任务。

    • 扩缩容:变配资源配置,可增加资源或减少资源,变更成功后,系统将按变更后实际使用的资源计费。

    • 下线:可将部署中的任务下线,下线后该任务将会自动删除。

    • 删除:部署失败、欠费下线后,可删除模型,删除后不再计费。

    下表详细列出了模型状态及其支持的操作和计费情况。

    状态

    操作

    计费情况

    部署中

    查看

    此状态不计费。

    运行中

    查看、扩缩容、下线

    此状态持续计费,单击下线后部署任务消失,停止计费。

    欠费停服

    查看、删除

    此状态不计费,欠费状态不会持续计费,但充值后,模型将恢复服务,自动恢复后将开始计费,单击删除后部署任务消失,不再计费。

    欠费恢复中

    查看

    此状态不计费,表示账户已充值,系统自动恢复服务中,服务恢复后,状态变换为运行中将恢复计费。

    部署失败

    查看、删除、重新部署

    此状态不计费,重新部署成功后变为运行中状态将进行计费,单击删除后部署任务消失,不再计费。