公共资源适合测试场景或者业务流量有明显波峰波谷的业务(专属资源搭配弹性资源池),可以最大程度降低成本,但公共资源无法保证资源的供给。使用公共资源部署服务时,您还可以选用竞价实例(抢占式实例)来进一步降低成本,并通过配置多规格实例降低单一规格库存不足带来的部署风险。本文为您介绍如何使用公共资源来部署模型服务。
计费说明
公共资源按照实际使用量进行计费,详情请参见EAS计费说明。
开始计费
公共资源支持使用机器资源或机器型号来部署模型服务,服务一旦部署并处于运行中时,系统就开始计费。
PAI为公共资源的每个实例机器节点免费提供30 GB的系统盘容量,支持配置额外系统盘,按量计费,系统盘创建成功后开始计费。
停止计费
在PAI EAS 模型在线服务页面的服务列表页签,单击目标服务操作列下的停止,即可停止模型服务和计费。
建议及时停止无用的模型服务,以免产生不必要的费用。
请确保被停止的服务不需要再使用,以免造成不必要的业务损失。
竞价实例
竞价实例是一种通过设定价格上限的抢占模式部署服务的实例类型,旨在提供更具成本效益的计算资源。
优势
成本节约:竞价实例的最大优势在于其价格低廉。价格随市场和库存的供需关系实时变化,通常较公共资源按量付费的普通实例更具优惠。
价格层级:竞价实例分为有保护期和无保护期两种类型,价格从低到高依次为:无保护期价格 < 有保护期价格 < 普通实例价格。
资源抢占条件
竞价实例库存充足,且用户设置的出价不低于当前市场价。
资源释放条件
有保护期实例:默认至少可以使用1小时的保护期,确保资源使用。超出1小时保护期后,若库存不足或出价低于市场价,实例可能被释放。
无保护期实例:若库存不足或出价低于市场价,实例可能被释放。
计费模式
竞价实例采用按量计费模式,费用根据实时市场价计算。
多规格实例
在部署服务时,只指定单一规格的计算资源,会出现由于该规格库存不足导致服务长时间无法拉起的情况。针对该问题,EAS部署环节支持多规格实例选择,通过遍历配置文件中提供的规格列表来拉起资源,从而极大降低单一规格库存不足带来的部署风险。
实例使用顺序
在创建或更新服务时,您可以同时指定多种实例规格(如竞价实例和常规型实例)。部署时,系统将按配置顺序依次尝试使用这些实例。当某个实例规格竞价失败或库存不足时,将按照配置顺序自动切换到下一个可用规格。
资源释放与重新分配
如配置的竞价实例因库存或市场价格变化可能会被释放回收,此时EAS会根据配置文件重新分配最高优先级的可用资源,以确保服务的连续性。
使用方式
通过控制台配置
以下步骤以自定义部署为例。
登录PAI控制台,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入EAS。
新建服务:在推理服务页签,单击部署服务,选择自定义模型部署> 自定义部署。
更新服务:在推理服务页签的服务列表中找到要操作的服务,操作列单击更新。
在资源部署区域,资源类型选择公共资源,单击资源规格在弹出的列表中选择您需要的资源规格。
(可选)开启竞价。打开竞价开关,设置出价,并选择竞价型保留时长。
仅当资源规格支持竞价时,竞价开关才可开启。
建议使用竞价实例时,同时配置常规型实例,避免竞价实例抢占失败导致服务部署失败。
4.(可选)配置多规格实例。单击添加按钮,配置多个实例。
通过EASCMD客户端配置
通过EASCMD客户端部署模型服务,具体操作步骤,详情请参见服务部署:EASCMD。
第一次使用EASCMD客户端部署,您可以在控制台配置参数之后,在服务配置区域直接获取JSON配置。
资源部署相关的JSON参数示例如下:
{
"metadata": {
"instance": 1
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": false
}
}
}
参数 | 描述 |
参数 | 描述 |
metadata.instance | 服务启动的实例数量。上述JSON文件中表示启动1个实例。 |
cloud.computing.instances | 表示允许的实例规格,支持配置多个。当实例规格竞价失败或库存不足时,按照配置顺序依次尝试使用下一个实例规格创建服务。
|
cloud.computing.disable_spot_protection_period | 支持以下取值:
|
相关文档
- 本页导读 (1)
- 计费说明
- 竞价实例
- 多规格实例
- 使用方式
- 通过控制台配置
- 通过EASCMD客户端配置
- 相关文档