EAS常见问题

服务在部署阶段后会进入到Waiting（等待中）状态，等待资源调度和服务实例启动。当所有服务实例均启动成功后，服务会进入到Running（运行中）状态。如果服务状态长时间处于等待中时，通常可以通过概览页面的服务实例列表，查看服务实例的状态来定位具体原因。原因一般分为如下两类：

• 资源不足：服务实例列表中所有实例或部分实例状态为Pending。

  大部分原因在于专属资源组中空闲资源不足，导致实例无法调度。如下图所示：

  此时，您可以检查专属资源组中的机器节点是否有足够多的空闲资源（包括CPU、Memory和GPU）。如果一个实例需要3核4 GB的资源，那么在专属资源组中需要至少一个机器节点有3核4 GB的空闲资源。

  重要

  为避免在高负载时出现系统故障，机器节点需要预留1个核给系统组件，能调度的资源需要在总资源中减少一个核。

  专属资源组节点列表如下图所示。如何查看资源组详情，请参见使用EAS资源组。

• 实例健康检查未完成：服务实例状态为Running，但容器状态一般为[0/1]或[1/2]。

  正斜线（/）前面的数字表示启动成功的容器数量，正斜线（/）后面的数字表示总的容器数量。当您使用自定义镜像来部署服务时，实例中会自动注入一个Sidecar容器用于服务的流量控制与监控采集等工作，您无需关心该容器。在控制台您会看到总容器数量为2，即包含了您的自定义容器和引擎的Sidecar容器。此时，需要2个容器状态都为Ready时，服务实例才被视为启动完成，并开始接收流量。

服务会在以下两种情况处于Failed状态：

• 服务部署阶段：如果部署时指定的资源（如模型地址等）不存在，服务的当前状态信息中将显示报错原因，通常您可以根据报错信息判断出部署失败的原因。

• 服务启动阶段：在服务完成部署并调度到资源开始启动时失败，此时会出现状态信息Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.。

  该状态信息表示服务中某个实例启动失败，此时您需要在服务概览页面的服务实例列表中查看失败状态，来判断具体的失败原因。实例失败有如下几种情况：

  • 服务实例在启动阶段因内存用超发生OOM被系统杀掉，这种情况需要调大服务内存来重新部署。实例状态如下图所示：

  • 服务在启动阶段代码错误发生Crash，该情况下上次状态为Error(error code)，您需要单击实例操作列下的日志按钮进一步排查服务日志，来定位服务启动失败的原因。实例状态如下图所示：

  • 服务镜像拉取失败，参见镜像拉取失败（ImagePullBackOff）。

如果服务实例列表中看到上次退出原因是ImagePullBackOff，通常是镜像拉取失败。如果状态列有如下图标，可以单击查看具体原因。

常见镜像拉取失败原因如下：

根据镜像服务与EAS服务所处地域情况，建议如下：

• 同地域：推荐使用镜像内网地址拉取镜像。

• 跨地域：ACR个人版只能使用镜像公网地址。ACR企业版根据以下情况选择：

  • 对安全性和稳定性有较高要求，使用镜像内网地址，需通过CEN打通VPC，参见跨地域或从IDC访问ACR企业版实例。

  • 业务场景较为简单，或暂时无法完成内网打通，使用镜像公网地址，作为临时解决方案。通过公网下载，速度会比较慢。

关于ACR企业版实例，注意点如下：

• 需根据情况配置专有网络和公网的访问控制。

• 如仓库没有配置公开匿名拉取，那么跨地域通过公网地址拉取时，EAS服务需配置镜像仓库下载的用户名和密码。

EAS服务内部默认不通公网，如果您有访问公网的需求，则需要通过开通到您的VPC的网络直连来实现公网访问，同时需要确保在开通直连时选择的VPC自身具有公网访问的能力。若您的VPC不具备公网访问能力，则需要为该VPC通过创建NAT网关来开通公网访问能力。EAS开通直连的方法可参考文档：

• 专属资源组直连配置：配置资源组网络连通。

• 公共资源组直连配置：配置资源组网络连通。

在部署EAS服务时，您可以通过挂载的方式来配置模型和代码。请确保所使用的OSS存储空间和NAS文件系统与EAS服务位于同一地域，否则将无法进行选择。

为避免您在使用时出现问题，目前1核2 GB的资源已下架。因为EAS会在每个机器节点上部署一些系统组件，这些组件会占用部分机器资源。如果机型规格太小，系统组件占用的资源比例会过高，导致您的可用资源比例降低。

EAS服务部署实例数要根据资源的剩余使用量来确定，具体的剩余量可以在控制台的资源组列表的机器列表中查看，详情请参见使用EAS资源组。

如果根据CPU核数来分配任务，那么部署的实例数上限就是 (CPU核数 - 1) / 每个实例使用的核心数。

PAI官方镜像是平台内部镜像，只能在PAI平台上使用，不能在除平台容器之外的地方下载。

问题描述：EAS服务停止一段时间后自动重启。

问题原因：

这种情况是因为服务实例配置了弹性伸缩，且最小实例数为0。在一段时间没有流量后，实例数会自动缩容到0。因自动缩容导致的无可用实例，如果有请求就会触发自动扩容（不需要达到设置的扩容指标阈值）。

是否自动扩容可以根据部署事件中auto scaling的描述来判断。

解决方案：

• 如不再需要该服务，可直接删除。

• 如不想删除服务，可主动停止（通过控制台点击停止，或者调用API接口StopService）。主动停止的服务无法通过流量触发扩容。

• 如果不希望弹性扩缩容导致服务自动停止，请不要将最小实例数设置为0。

• 您也可以根据实际需要关闭弹性扩缩容，防止意外流量触发扩容启动。

问题描述：

PAI-EAS启动报错如下

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

问题原因：EAS实例系统盘被大量模型文件占据，造成服务无法正常启动。

解决方案：

方案一：为EAS实例扩容系统盘。

方案二：如果是模型文件过大，考虑将模型文件存储到外部存储（OSS、NAS等），通过存储挂载来读取。

• 您可以在资源信息 > 额外系统盘进行配置，或如下直接修改服务JSON配置文件。

  

  "features": { "eas.aliyun.com/extra-ephemeral-storage": "40GB" }

• 使用专属资源时，如需配置的额外系统盘大于机器剩余系统盘大小，需删除当前资源，重新购买，并在购买时调整系统盘大小。

• EAS服务支持从按量付费转为包年包月

  登录PAI控制台，进入模型在线服务（EAS）页面，然后单击目标服务操作列下的更新，在资源信息区域，将资源类型由公共资源更新为EAS资源组。

• EAS专属资源组资源不支持从按量付费转为包年包月。

共享网关无法设置阻止httpf访问。专属网关可以打开HTTPS重定向，这样http访问的请求都会默认重定向到https协议来访问。

在线调试时报错，错误码为503，错误提示为“no healthy upstream”：

• 报错原因：实例运行时资源不足，如CPU、内存和显存被过度占用，导致没有足够的缓冲余量。

• 解决方案：

  • 当资源类型为公共资源时，建议稍后在非高峰时段再尝试调用，或更换其他资源规格和地域。

  • 当资源类型为专属资源（EAS资源组）时，确保专属资源组为实例预留足够的CPU、内存和显存（建议至少保留20%空闲资源作为缓冲）。

• VPC地址调用：VPC地址调用是内网SLB+网关的模式（公网地址是公网SLB+网关），这是比较经典的请求模式。在这种模式下，请求需要通过SLB的4层转发和网关的7层转发之后到达服务实例。在大流量高并发的场景中，通过转发会带来一定的性能开销，同时网关也会有带宽的限制（默认1 Gbps）。

• VPC高速直连：EAS提供了高速直连的访问模式，既解决了性能和扩展性的问题，也无须增加额外的成本。开通VPC高速直连后，相当于打通了您的VPC和EAS服务VPC之间的网络通路。您的请求通过EAS提供的服务发现功能对服务进行寻址，并在客户端代码中通过软负载的方式发起负载均衡的服务请求。这个过程需要使用EAS提供的SDK来进行访问，并将endpoint_type设置为DIRECT即可。

  例如在Python SDK使用说明的场景中，您可通过在代码中增加如下一行代码，来将调用由网关改为直连：

  client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
  client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
  client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
  client.init()

EAS在线服务部署成功后，使用curl命令通过公网地址或VPC地址调用服务。具体操作步骤如下：

1. 获取服务访问地址和Token。

   1. 在模型在线服务（EAS）页面，单击目标服务进入概览页面。

   2. 在基本信息区域中，单击查看调用信息。

   3. 在调用信息对话框的公网地址调用或VPC地址调用页签，分别获取服务的访问地址和Token。

2. 使用curl命令调用服务。

   示例如下：

   $ curl <service_url> -H 'Authorization: <service_token>' -d '[{"sex":0,"cp":0,"fbs":0,"restecg":0,"exang":0,"slop":0,"thal":0,"age":0,"trestbps":0,"chol":0,"thalach":0,"oldpeak":0,"ca":0}]'

   其中：

   • <service_url>：替换为已获取的服务访问地址。

   • <service_token>：替换为已获取的Token。

   • -d：配置为服务请求数据。

客户端与服务端之间的连接断开，服务端在向该连接中回写请求结果时，发现连接已断开后所打的warning日志，连接断开一般分两种情况：

• 服务端超时断开连接：在Processor模式下，服务端默认超时时间为5秒，您可以通过服务的metadata.rpc.keepalive参数来修改。在超时时间到达后，服务端将关闭该连接，并在服务端的监控中记录一个408状态码。

• 客户端超时断开连接：客户端的超时时间由您的调用端代码中设置的超时时间决定。因超时未返回HTTP响应，客户端会主动断开连接，此时服务端的监控记录中会记录一个499状态码。

关于服务请求状态码的详细说明，请参见：附录：服务状态码说明。

通常是由于长连接超时导致请求失败或实例负载不均衡等问题引起。服务端的处理超过客户端配置的HTTP超时时间后，客户端会放弃该请求，主动断开连接，此时服务端监控会出现状态码499，可以查

看监控指标进一步确认。对于推理耗时较长的情况，建议部署异步推理服务。

出于性能考虑，TensorFlow/PyTorch Processor的Request Body采用非明文的protobuf格式。目前在线调试仅支持明文的文本格式输入，因此该服务暂时无法在控制台上直接进行在线调试。您可以使用EAS配套提供的SDK来进行请求访问，各语言版本SDK可参考：服务调用SDK。

EAS不支持远程SSH连接，无法进入容器内调试。如需执行命令，建议您将命令配置在运行命令中。

目前，EAS服务有以下几种状态，您也可以前往模型在线服务（EAS）页面的服务状态列进行查看。

• Creating：创建中

• Waiting：等待中（等待实例启动完毕）

• Stopped：已停止

• Failed：已失败

• Updating：升级中（实例会被更新）

• Stopping：停止中

• HotUpdate：升级中（热更新，不更新实例）

• Starting：启动中

• DeleteFailed：删除失败

• Running：运行中

• Scaling：升级中（实例扩缩容中）

• Pending：等待中（等待具体处理）

• Deleting：删除中

• Completed：已完成

• Preparing：准备

通常是因为当前地域资源不足。

对于预付费机器，如果资源不足创建失败，系统会自动创建退款订单，已支付的费用会原路返回。

前往阿里云资源退订页面，退订不再使用的EAS预付费专属机器。其中：

• 类型：选择非全额退订。

• 产品名称：选择EAS专属机器预付费。

单击搜索找到待退订资源，然后单击操作列下的退订资源，并按照控制台操作指引完成退订流程。

不保留服务实例数据。

只有拥有指定权限的用户才能自动创建或删除AliyunServiceRoleForPaiEas。因此，当RAM用户无法自动创建或删除AliyunServiceRoleForPaiEas时，您需要为其添加相应的权限策略，具体操作方法如下：

1. 通过脚本配置的方式将如下权限策略创建为自定义策略。具体操作，请参见创建自定义权限策略。

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. 将上一步创建的自定义策略授权给目标RAM用户。具体操作，请参见方式一：在RAM用户页面为RAM用户授权。