实时推理场景

前提条件

• 在GPU实例所在地域，完成以下操作：

  • 创建容器镜像服务的企业版实例或个人版实例，推荐您创建企业版实例。具体操作步骤，请参见创建企业版实例。

  • 创建命名空间镜像仓库。具体操作步骤，请参见步骤二：创建命名空间和步骤三：创建镜像仓库。

• 安装Serverless Devs工具及依赖

• 配置Serverless Devs

1.部署函数

1. 执行以下命令，克隆工程。

   git clone https://github.com/devsapp/start-fc-gpu.git

2. 执行以下命令，进入项目目录。

   cd /root/start-fc-gpu/fc-http-gpu-inference-paddlehub-nlp-porn-detection-lstm/src/

   项目结构如下所示。

   .
   ├── hook
   │   └── index.js
   └── src
       ├── code
       │   ├── Dockerfile
       │   ├── app.py
       │   ├── hub_home
       │   │   ├── conf
       │   │   ├── modules
       │   │   └── tmp
       │   └── test
       │       └── client.py
       └── s.yaml

3. 执行以下命令，通过Docker构建镜像，并向您的镜像仓库进行推送。

   export IMAGE_NAME="registry.cn-shanghai.aliyuncs.com/fc-gpu-demo/paddle-porn-detection:v1"
   # sudo docker build -f ./code/Dockerfile -t $IMAGE_NAME .
   # sudo docker push $IMAGE_NAME

   重要

   由于PaddlePaddle框架自身体积较大，首次构建镜像耗时较长，约1个小时，因此，此处为您提供一个VPC地址的公共镜像供您直接使用。使用公共镜像时，无需执行上述docker build和docker push命令。

4. 编辑s.yaml文件。

   edition: 3.0.0
   name: container-demo
   access: default
   vars:
     region: cn-shanghai
   resources:
     gpu-best-practive:
       component: fc3
       props:
         region: ${vars.region}
         description: This is the demo function deployment
         handler: not-used
         timeout: 1200
         memorySize: 8192
         cpu: 2
         gpuMemorySize: 8192
         diskSize: 512
         instanceConcurrency: 1
         runtime: custom-container
         environmentVariables:
           FCGPU_RUNTIME_SHMSIZE: '8589934592'
         customContainerConfig:
           image: >-
             registry.cn-shanghai.aliyuncs.com/serverless_devs/gpu-console-supervising:paddle-porn-detection
           port: 9000
         internetAccess: true
         logConfig:
           enableRequestMetrics: true
           enableInstanceMetrics: true
           logBeginRule: DefaultRegex
           project: z****
           logstore: log****
         functionName: gpu-porn-detection
         gpuConfig:
           gpuMemorySize: 8192
           gpuType: fc.gpu.tesla.1
         triggers:
           - triggerName: httpTrigger
             triggerType: http
             triggerConfig:
               authType: anonymous
               methods:
                 - GET
                 - POST

5. 执行以下命令，部署函数。

   sudo s deploy --skip-push true -t s.yaml

   执行成功后，在执行输出中返回一个URL地址，格式如https://gpu-poretection-****.cn-shanghai.fcapp.run，复制此地址用于后续测试函数。

2.测试函数并查看监控结果

1. 执行Curl命令调用函数，格式如下，其中域名为上一步获取的URL。

   curl https://gpu-poretection-gpu-****.cn-shanghai.fcapp.run/invoke -H "Content-Type: text/plain" --data "Nice to meet you"

   返回以下结果，表示测试通过。

   [{"text": "Nice to meet you", "porn_detection_label": 0, "porn_detection_key": "not_porn", "porn_probs": 0.0, "not_porn_probs": 1.0}]%

2. 登录函数计算控制台，左侧导航栏选择函数，选择地域，找到目标函数，然后在函数详情页，选择监控 > 实例指标，查看GPU相关指标的变化。

   

3.配置弹性预留策略

1. 在s.yaml文件所在目录下，创建弹性配置的模板provision.json。

   示例如下。该模板使用了实例并发度作为追踪指标，最小实例数为2，最大实例数为30。

   {
     "targetTrackingPolicies": [
       {
         "name": "scaling-policy-demo",
         "startTime": "2024-07-01T16:00:00.000Z",
         "endTime": "2024-07-30T16:00:00.000Z",
         "metricType": "ProvisionedConcurrencyUtilization",
         "metricTarget": 0.3,
         "minCapacity": 2,
         "maxCapacity": 30
       }
     ]
   }

2. 执行以下命令，进行弹性策略的部署。

   sudo s provision put --target 1 --targetTrackingPolicies ./provision.json --qualifier LATEST -t s.yaml -a {access}

3. 执行sudo s provision list进行验证，可以看到如下输出。其中target和current的数值相等，表示预留实例正确拉起，弹性规则部署正确。

   [2023-05-10 14:49:03] [INFO] [FC] - Getting list provision: gpu-best-practive-service
   gpu-best-practive:
     -
       serviceName:            gpu-best-practive-service
       qualifier:              LATEST
       functionName:           gpu-porn-detection
       resource:               143199913651****#gpu-best-practive-service#LATEST#gpu-porn-detection
       target:                 1
       current:                1
       scheduledActions:       null
       targetTrackingPolicies:
         -
           name:         scaling-policy-demo
           startTime:    2024-07-01T16:00:00.000Z
           endTime:      2024-07-30T16:00:00.000Z
           metricType:   ProvisionedConcurrencyUtilization
           metricTarget: 0.3
           minCapacity:  2
           maxCapacity:  30
       currentError:
       alwaysAllocateCPU:      true

   在预留实例拉起成功后，您的模型已成功部署并准备好提供服务。

4. 释放函数预留实例。

   1. 执行以下命令关闭弹性规则，将预留实例配置为0。

      sudo s provision put --target 0 --qualifier LATEST -t s.yaml -a {access}

   2. 执行以下命令确认当前函数的弹性伸缩策略已被关闭。

      s provision list -a {access}

      返回以下执行结果，表示弹性伸缩策略已成功关闭。

      [2023-05-10 14:54:46] [INFO] [FC] - Getting list provision: gpu-best-practive-service
      End of method: provision