实时推理场景

背景信息

功能原理

当GPU函数部署完成后，您可以通过配置预留GPU实例的弹性伸缩策略开启预留GPU实例，以提供实时推理应用场景所需的基础设施能力。函数计算平台将根据您配置的伸缩指标进行预留GPU实例的HPA，客户请求将优先分配至预留GPU实例进行推理服务，平台完全遮蔽冷启动，业务保持低延迟响应。

实时推理场景基本信息

模型部署方式

更多部署示例，请参见start-fc-gpu。

预留模式的弹性伸缩

定时修改弹性伸缩策略

函数计算支持使用定时修改弹性伸缩策略。具体操作，请参见定时修改限制。在实时推理场景中，如果您的流量波形呈现为较规律的潮汐流量，您可以在流量高峰来临前的若干分钟，进行预留GPU实例数量的修改；在流量水位下降后，再进行缩容操作，协调最佳的成本和最优的性能。

根据指标的弹性伸缩策略

函数计算针对GPU函数提供以下五种可追踪指标，您可以根据业务的特性选择所需要追踪的指标，来指导动态的弹性策略。

实时推理应用场景中，推荐使用ProvisionedConcurrencyUtilization并发度指标作为HPA指标。因为并发度/QPS更偏向业务指标，GPU资源利用率更偏向资源指标，业务指标变化会影响资源指标，使用更偏向业务的并发度/QPS指标，可以更及时地触发预留GPU实例扩缩容行为，从而优先保障业务服务质量。

模型服务预热

为了解决模型上线后初次请求耗时较长的问题，函数计算为您提供了模型预热的功能。模型预热的目的是使模型上线后即可进入正常的服务状态。

函数计算推荐您配置实例的initialize生命周期回调功能来实现模型预热，函数计算会在您的实例启动后自动执行initialize里的业务逻辑来进行模型服务预热。更多信息，请参见函数实例生命周期回调。

您可以通过以下操作使用模型预热。

1. 在实例的initialize生命周期回调功能中加入模型预热逻辑。

   在您构建的HTTP Server中添加POST方法的/initialize的调用Path，并将模型预热的逻辑放在/initialize的Path下。通常可以让模型服务来执行简单的推理来实现预热的效果。下面是Python语言的示例代码。

   def prewarm_inference():
       res = model.inference()
   
   @app.route('/initialize', methods=['POST'])
   def initialize():
       request_id = request.headers.get("x-fc-request-id", "")
       print("FC Initialize Start RequestId: " + request_id)
   
       # Prewarm model and perform naive inference task.    
       prewarm_inference()
       
       print("FC Initialize End RequestId: " + request_id)
       return "Function is initialized, request_id: " + request_id + "\n"

2. 在函数配置页面配置实例生命周期回调信息。

   在对应的函数详情页面的函数配置页签下，单击实例生命周期回调区域的编辑，在实例生命周期回调面板配置Initializer回调信息。

   

通过Serverless Devs工具配置GPU实例的弹性伸缩策略

前提条件

• 在GPU实例所在地域，完成以下操作：

  • 创建容器镜像服务的企业版实例或个人版实例，推荐您创建企业版实例。具体操作步骤，请参见创建企业版实例。

  • 创建命名空间镜像仓库。具体操作步骤，请参见步骤二：创建命名空间和步骤三：创建镜像仓库。

• 安装Serverless Devs和Docker

• 配置Serverless Devs

操作步骤

1. 执行以下命令，克隆工程。

   git clone https://github.com/devsapp/start-fc-gpu.git

2. 部署项目。

   1. 执行以下命令，进入项目目录。

      cd fc-http-gpu-inference-paddlehub-nlp-porn-detection-lstm/src/

      项目结构如下所示。

      .
      ├── hook
      │   └── index.js
      └── src
          ├── code
          │   ├── Dockerfile
          │   ├── app.py
          │   ├── hub_home
          │   │   ├── conf
          │   │   ├── modules
          │   │   └── tmp
          │   └── test
          │       └── client.py
          └── s.yaml

   2. 执行以下命令，通过Docker构建镜像，并向您的镜像仓库进行推送。

      export IMAGE_NAME="registry.cn-shanghai.aliyuncs.com/fc-gpu-demo/paddle-porn-detection:v1"
      # sudo docker build -f ./code/Dockerfile -t $IMAGE_NAME .
      # sudo docker push $IMAGE_NAME

      重要

      由于PaddlePaddle框架自身体积较大，首次构建镜像耗时较久，约1个小时，因此，此处为您提供一个VPC地址的公共镜像供您直接使用。使用公共镜像时，无需执行上述docker build和docker push命令。

   3. 编辑s.yaml文件。

      edition: 1.0.0
      name: container-demo
      access: {access}
      vars:
        region: cn-shanghai
      services:
        gpu-best-practive:
          component: devsapp/fc
          props:
            region: ${vars.region}
            service:
              name: gpu-best-practive-service
              internetAccess: true
              logConfig:
                enableRequestMetrics: true
                enableInstanceMetrics: true
                logBeginRule: DefaultRegex
                project: log-ca041e7c29f2a47eb8aec48f94b****   # 替换为您创建的日志服务项目名称
                logstore: config*****  # 替换为您创建的日志库名称
              role: acs:ram::143199913651****:role/aliyunfcdefaultrole 
            function:
              name: gpu-porn-detection
              description: This is the demo function deployment
              handler: not-used
              timeout: 1200
              caPort: 9000
              memorySize: 8192    # 8 GB内存配置
              cpu: 2
              gpuMemorySize: 8192     # 8 GB显存配置
              diskSize: 512
              instanceType: fc.gpu.tesla.1    # 部署Tesla卡型的GPU实例
              instanceConcurrency: 1
              runtime: custom-container
              environmentVariables:
                FCGPU_RUNTIME_SHMSIZE : '8589934592'
              customContainerConfig:
                image: registry.cn-shanghai.aliyuncs.com/serverless_devs/gpu-console-supervising:paddle-porn-detection  # 此处以公共镜像为例，您可以根据实际情况替换为您的镜像名称
                accelerationType: Default
            triggers:
              - name: httpTrigger
                type: http
                config:
                  authType: anonymous
                  methods:
                    - GET
                    - POST

   4. 执行以下命令，部署函数。

      sudo s deploy --skip-push true -t s.yaml

      执行成功后，在执行输出中返回一个URL地址，获取此地址用于后续测试函数。

3. 测试函数，并登录函数计算控制台查看监控结果。

   1. 执行Curl命令测试函数，使用上一步获取的URL。

      curl https://gpu-poretection-gpu-bes-service-gexsgx****.cn-shanghai.fcapp.run/invoke -H "Content-Type: text/plain" --data "Nice to meet you"

      返回以下结果，表示测试通过。

      [{"text": "Nice to meet you", "porn_detection_label": 0, "porn_detection_key": "not_porn", "porn_probs": 0.0, "not_porn_probs": 1.0}]%

   2. 在函数计算控制台，选择高级功能 > 监控大盘，依次单击步骤2部署的服务和函数，然后单击实例指标页签，查看GPU相关指标的变化。

      

4. 配置弹性预留策略。

   1. 创建弹性配置的模板provision.json。

      示例如下。该模板使用了实例并发度作为追踪指标，最小实例数为2，最大实例数为30。

      {
        "target": 2,
        "targetTrackingPolicies": [
          {
            "name": "scaling-policy-demo",
            "startTime": "2023-01-01T16:00:00.000Z",
            "endTime": "2024-01-01T16:00:00.000Z",
            "metricType": "ProvisionedConcurrencyUtilization",
            "metricTarget": 0.3,
            "minCapacity": 2,
            "maxCapacity": 30
          }
        ]
      }

   2. 执行以下命令，进行弹性策略的部署。

      sudo s provision put --config ./provision.json --qualifier LATEST -t s.yaml -a {access}

   3. 执行sudo s provision list进行验证，可以看到如下输出。其中target和current的数值相等，表示预留实例正确拉起，弹性规则部署正确。

      [2023-05-10 14:49:03] [INFO] [FC] - Getting list provision: gpu-best-practive-service
      gpu-best-practive:
        -
          serviceName:            gpu-best-practive-service
          qualifier:              LATEST
          functionName:           gpu-porn-detection
          resource:               143199913651****#gpu-best-practive-service#LATEST#gpu-porn-detection
          target:                 2
          current:                2
          scheduledActions:       null
          targetTrackingPolicies:
            -
              name:         scaling-policy-demo
              startTime:    2023-01-01T16:00:00.000Z
              endTime:      2024-01-01T16:00:00.000Z
              metricType:   ProvisionedConcurrencyUtilization
              metricTarget: 0.3
              minCapacity:  2
              maxCapacity:  30
          currentError:
          alwaysAllocateCPU:      true

      在预留实例拉起成功后，您的模型已成功部署并准备好进行服务。

5. 释放函数预留实例。

   1. 执行以下命令关闭弹性规则，将预留实例配置为0。

      sudo s provision put --target 0 --qualifier LATEST -t s.yaml -a {access}

   2. 执行以下命令确认当前函数的弹性伸缩策略已被关闭。

      s provision list -a {access}

      返回以下执行结果，表示弹性伸缩策略已成功关闭。

      [2023-05-10 14:54:46] [INFO] [FC] - Getting list provision: gpu-best-practive-service
      End of method: provision

通过函数计算控制台配置GPU实例的弹性伸缩策略

前提条件

已创建函数计算的服务和GPU函数。具体操作，请参见创建服务和创建GPU函数。

操作步骤

1. 登录函数计算控制台，在左侧导航栏，单击服务及函数。

2. 开启目标服务的实例级别指标。具体操作，请参见配置实例级别指标。

   开启实例级别指标后，您可以在函数计算控制台的函数可观测页面查看到函数调用所消耗的GPU相关资源。

3. 单击目标函数，然后单击触发器管理（URL）页签，获取HTTP触发器的URL用于后续测试函数。

   

4. 测试函数，并登录函数计算控制台查看监控结果。

   1. 执行Curl命令测试函数，使用上一步获取的URL。

      curl https://gpu-poretection-gpu-bes-service-gexsgx****.cn-shanghai.fcapp.run/invoke -H "Content-Type: text/plain" --data "Nice to meet you"

      返回以下结果，表示测试通过。

      [{"text": "Nice to meet you", "porn_detection_label": 0, "porn_detection_key": "not_porn", "porn_probs": 0.0, "not_porn_probs": 1.0}]%

   2. 在函数计算控制台，选择高级功能 > 监控大盘，依次单击步骤2部署的服务和函数，然后单击实例指标页签，查看GPU相关指标的变化。

      

5. 在函数详情页面的弹性管理页签，单击创建规则。

6. 在创建弹性伸缩限制规则页面，按需设置以下配置项，然后单击创建。

   1. 设置版本和最小实例数，其他配置项保持默认值即可。

      

   2. 在根据指标修改限制区域，单击+添加配置，然后设置相关策略配置。

      示例如下。

   设置完成后，您可以在目标函数的监控指标 > 函数指标，查看函数预留实例数的变化。

执行压测

您还可以使用常用的压测工具对HTTP函数进行压测，例如Apache Bench压测工具。也可以使用阿里云的性能测试 PTS产品进行测试。使用PTS产品进行压测，将产生额外费用，具体信息，请参见计费概述。

压测结束后，在函数计算控制台，找到目标服务下的目标函数，然后在函数详情页选择监控指标 > 函数指标，查看压测结果。根据指标详情，您可以看到在压测过程中函数预留实例数进行了自动扩容，并在压测结束后自动缩容，如下图所示。

常见问题

使用函数计算实时推理场景的成本如何计算？

关于函数计算的计费详情，请参见计费概述。预留模式区别于按量模式，请注意您的账单详情。

为什么我配置了弹性伸缩策略，还是可以看到性能毛刺？

可以考虑使用更为激进的弹性伸缩策略，提早弹出节点来规避突发请求带来的性能挤兑。

为什么我所追踪的指标已经上涨超过所配置的弹性策略水位，但是没有看到实例数增长？

函数计算统计的指标是分钟级别，水位需要上涨并维持一段时间后，才会触发扩容机制。