使用公共资源

更新时间:2025-03-26 11:10:43

公共资源适合测试场景或者业务流量有明显波峰波谷的业务(专属资源搭配弹性资源池),可以最大程度降低成本,但公共资源无法保证资源的供给。使用公共资源部署服务时,您还可以选用竞价实例(抢占式实例)来进一步降低成本,并通过配置多规格实例降低单一规格库存不足带来的部署风险。本文为您介绍如何使用公共资源来部署模型服务。

计费说明

公共资源按照实际使用量进行计费,详情请参见EAS计费说明

开始计费

  • 公共资源支持使用机器资源或机器型号来部署模型服务,服务一旦部署并处于运行中时,系统就开始计费。

  • PAI为公共资源的每个实例机器节点免费提供30 GB的系统盘容量,支持配置额外系统盘,按量计费,系统盘创建成功后开始计费。

停止计费

  • PAI EAS 模型在线服务页面的服务列表页签,单击目标服务操作列下的停止,即可停止模型服务和计费。

重要
  • 建议及时停止无用的模型服务,以免产生不必要的费用。

  • 请确保被停止的服务不需要再使用,以免造成不必要的业务损失。

竞价实例

竞价实例是一种通过设定价格上限的抢占模式部署服务的实例类型,旨在提供更具成本效益的计算资源。

  • 优势

    • 成本节约:竞价实例的最大优势在于其价格低廉。价格随市场和库存的供需关系实时变化,通常较公共资源按量付费的普通实例更具优惠。

    • 价格层级:竞价实例分为有保护期和无保护期两种类型,价格从低到高依次为:无保护期价格 < 有保护期价格 < 普通实例价格。

  • 资源抢占条件

    • 竞价实例库存充足,且用户设置的出价不低于当前市场价。

  • 资源释放条件

    • 有保护期实例:默认至少可以使用1小时的保护期,确保资源使用。超出1小时保护期后,若库存不足或出价低于市场价,实例可能被释放。

    • 无保护期实例:若库存不足或出价低于市场价,实例可能被释放。

  • 计费模式

    • 竞价实例采用按量计费模式,费用根据实时市场价计算。

多规格实例

在部署服务时,只指定单一规格的计算资源,会出现由于该规格库存不足导致服务长时间无法拉起的情况。针对该问题,EAS部署环节支持多规格实例选择,通过遍历配置文件中提供的规格列表来拉起资源,从而极大降低单一规格库存不足带来的部署风险。

  • 实例使用顺序

    在创建或更新服务时,您可以同时指定多种实例规格(如竞价实例和常规型实例)。部署时,系统将按配置顺序依次尝试使用这些实例。当某个实例规格竞价失败或库存不足时,将按照配置顺序自动切换到下一个可用规格。

  • 资源释放与重新分配

    如配置的竞价实例因库存或市场价格变化可能会被释放回收,此时EAS会根据配置文件重新分配最高优先级的可用资源,以确保服务的连续性。

使用方式

通过控制台配置

以下步骤以自定义部署为例。

  1. 登录PAI控制台,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入EAS

    • 新建服务:在推理服务页签,单击部署服务,选择自定义模型部署自定义部署

    • 更新服务:推理服务页签的服务列表中找到要操作的服务,操作列单击更新。

  2. 资源部署区域,资源类型选择公共资源,单击资源规格在弹出的列表中选择您需要的资源规格。

  3. (可选)开启竞价。打开竞价开关,设置出价,并选择竞价型保留时长。

    说明
    • 仅当资源规格支持竞价时,竞价开关才可开启。

    • 建议使用竞价实例时,同时配置常规型实例,避免竞价实例抢占失败导致服务部署失败。

    image

4.(可选)配置多规格实例。单击添加按钮,配置多个实例。

image

通过EASCMD客户端配置

通过EASCMD客户端部署模型服务,具体操作步骤,详情请参见服务部署:EASCMD

第一次使用EASCMD客户端部署,您可以在控制台配置参数之后,在服务配置区域直接获取JSON配置。

资源部署相关的JSON参数示例如下:

{
    "metadata": {
        "instance": 1
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                    
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": false
        }
    }
}

参数

描述

参数

描述

metadata.instance

服务启动的实例数量。上述JSON文件中表示启动1个实例。

cloud.computing.instances

表示允许的实例规格,支持配置多个。当实例规格竞价失败或库存不足时,按照配置顺序依次尝试使用下一个实例规格创建服务。

  • type:表示配置的实例规格。

  • spot_price_limit为可选参数:

    • 当配置该参数时:表示对应实例规格使用竞价实例,并指明价格上限。单位为CNY,支持按量付费。

    • 当不配置该参数时:表示对应实例规格为普通的按量付费实例。

cloud.computing.disable_spot_protection_period

支持以下取值:

  • false(默认值):表示在竞价实例创建成功后,默认有1小时保护期。在保护期内即使市场价格超过了出价,实例也不会被释放。

  • true:表示禁用保护期,无保护期实例会始终比有保护期实例优惠10%左右。

相关文档

  • 公共资源不能保证资源供给,您可以使用专属资源来部署服务。具体操作,请参见使用EAS资源组

  • 如果您的客户端需要通过VPC高速直连访问来降低网络时延,或者EAS服务需要访问您在同一VPC下的其他云产品等,您可以通过配置网络连通来实现上述能力,详情请参见配置网络连通

  • 您也可以为公共资源配置日志服务,使用公共资源部署的EAS服务产生的日志会存储到日志服务中,方便对EAS服务进行实时监控,详情请参见配置资源组日志服务

  • 本页导读 (1)
  • 计费说明
  • 竞价实例
  • 多规格实例
  • 使用方式
  • 通过控制台配置
  • 通过EASCMD客户端配置
  • 相关文档
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等