EAS常见问题

服务会在以下两种情况处于Failed状态：

• 服务部署阶段：如果部署时指定的资源（如模型地址等）不存在，服务的当前状态信息中将显示报错原因，通常您可以根据报错信息判断出部署失败的原因。

• 服务启动阶段：在服务完成部署并调度到资源开始启动时失败，此时会出现状态信息Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.。

  该状态信息表示服务中某个实例启动失败，此时您需要在服务概览页面的服务实例列表中查看失败状态，来判断具体的失败原因。实例失败有如下几种情况：

  • 服务实例在启动阶段因内存用超发生OOM被系统杀掉，这种情况需要调大服务内存来重新部署。实例状态如下图所示：

  • 服务在启动阶段代码错误发生Crash，该情况下上次状态为Error(error code)，您需要单击实例操作列下的日志按钮进一步排查服务日志，来定位服务启动失败的原因。实例状态如下图所示：

  • 服务镜像拉取失败，参见镜像拉取失败（ImagePullBackOff）怎么办？。

问题描述：EAS服务停止一段时间后自动重启。

问题原因：

这种情况是因为服务实例配置了弹性伸缩，且最小实例数为0。在一段时间没有流量后，实例数会自动缩容到0。因自动缩容导致的无可用实例，如果有请求就会触发自动扩容（不需要达到设置的扩容指标阈值）。

是否自动扩容可以根据部署事件中auto scaling的描述来判断。

解决方案：

• 如不再需要该服务，可直接删除。

• 如不想删除服务，可主动停止（通过控制台点击停止，或者调用API接口StopService）。主动停止的服务无法通过流量触发扩容。

• 如果不希望弹性扩缩容导致服务自动停止，请不要将最小实例数设置为0。

• 您也可以根据实际需要关闭弹性扩缩容，防止意外流量触发扩容启动。

问题描述：

PAI-EAS启动报错如下

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

问题原因：EAS实例系统盘被大量模型文件占据，造成服务无法正常启动。

解决方案：

方案一：为EAS实例扩容系统盘。

方案二：如果是模型文件过大，考虑将模型文件存储到外部存储（OSS、NAS等），通过存储挂载来读取。

exec format error 表明操作系统无法执行目标程序文件，最常见的原因是可执行文件或容器镜像的 CPU 架构与运行它的宿主机系统架构不兼容。

建议切换其他资源规格尝试。

为了最大化多GPU间的通信效率，为单个服务指定的GPU数量必须是2的幂次方。

支持分配0，1，2，4，8，16卡。

如果服务实例列表中看到上次退出原因是ImagePullBackOff，通常是镜像拉取失败。如果状态列有如下图标，可以单击查看具体原因。

常见镜像拉取失败原因如下：

根据镜像服务与EAS服务所处地域情况，使用建议如下：

• 同地域：推荐使用镜像内网地址拉取镜像。

• 跨地域：ACR个人版只能使用镜像公网地址。ACR企业版根据以下情况选择：

  • 对安全性和稳定性有较高要求，使用镜像内网地址，需通过CEN打通VPC，参见跨地域或从IDC访问ACR企业版实例。

  • 业务场景较为简单，或暂时无法完成内网打通，使用镜像公网地址，作为临时解决方案。通过公网下载，速度会比较慢。

关于ACR企业版实例，注意点如下：

• 需根据情况配置专有网络和公网的访问控制。

• 如仓库没有配置公开匿名拉取，那么跨地域通过公网地址拉取时，EAS服务需配置镜像仓库下载的用户名和密码。

PAI官方镜像是平台内部镜像，只能在PAI平台上使用，不能在除平台容器之外的地方下载。

通常是因为当前地域资源不足。

对于预付费机器，如果资源不足创建失败，系统会自动创建退款订单，已支付的费用会原路返回。

前往阿里云资源退订页面，退订不再使用的EAS预付费专属机器。其中：

• 类型：选择非全额退订。

• 产品名称：选择EAS专属机器预付费。

单击搜索找到待退订资源，然后单击操作列下的退订资源，并按照控制台操作指引完成退订流程。

不保留服务实例数据。

为避免您在使用时出现问题，目前1核2 GB的资源已下架。因为EAS会在每个机器节点上部署一些系统组件，这些组件会占用部分机器资源。如果机型规格太小，系统组件占用的资源比例会过高，导致您的可用资源比例降低。

EAS服务部署实例数要根据资源的剩余使用量来确定，具体的剩余量可以在控制台的资源组列表的机器列表中查看，详情请参见使用EAS资源组。

如果根据CPU核数来分配任务，那么部署的实例数上限就是 (CPU核数 - 1) / 每个实例使用的核心数。

ecs.gn8ia-2x.8xlarge性能接近4090。

模型服务的最大并发数与模型、使用场景、资源配置等多因素相关，建议通过服务自动压测了解服务性能。

EAS不支持远程SSH连接，无法进入容器内调试。如需执行命令，建议您将命令配置在运行命令中。

目前，EAS服务有以下几种状态，您也可以前往模型在线服务（EAS）页面的服务状态列进行查看。

• Creating：创建中

• Waiting：等待中（等待实例启动完毕）

• Stopped：已停止

• Failed：已失败

• Updating：升级中（实例会被更新）

• Stopping：停止中

• HotUpdate：升级中（热更新，不更新实例）

• Starting：启动中

• DeleteFailed：删除失败

• Running：运行中

• Scaling：升级中（实例扩缩容中）

• Pending：等待中（等待具体处理）

• Deleting：删除中

• Completed：已完成

• Preparing：准备

更多状态码说明参见附录：服务状态码与常见报错。

支持。直接将http替换成https，可进行更安全的加密传输。请确保调用环境支持HTTPS证书验证。如果您在客户端（如Python requests）遇到SSL证书验证错误，这通常是客户端环境配置问题，而非EAS服务本身不支持HTTPS。

共享网关无法设置阻止http访问。专属网关可以打开HTTPS重定向，这样http访问的请求都会默认重定向到https协议来访问。

可以，需要使用专属网关，详情请参见通过专属网关调用。

不会。服务部署后，Token是长期有效的。重启服务也不会改变。除非您手动重置（通过自定鉴权修改Token）或删除服务。

目前，一个EAS服务实例仅支持一个固定的认证Token。不支持为单个服务创建多个Token来进行权限控制或分别计量。如需实现多用户鉴权管理，建议采用阿里云的RAM鉴权等更复杂的方案

EAS服务本身不支持在部署时配置为默认流式响应。您必须在每次API调用请求的Body中明确指定需要流式输出。

例如，在调用LLM服务时，在JSON请求体中加入"stream": true参数即可。

• VPC地址调用：VPC地址调用是内网SLB+网关的模式（公网地址是公网SLB+网关），这是比较经典的请求模式。在这种模式下，请求需要通过SLB的4层转发和网关的7层转发之后到达服务实例。在大流量高并发的场景中，通过转发会带来一定的性能开销，同时网关也会有带宽的限制（默认1 Gbps）。

• VPC高速直连：EAS提供了高速直连的访问模式，既解决了性能和扩展性的问题，也无须增加额外的成本。开通VPC高速直连后，相当于打通了您的VPC和EAS服务VPC之间的网络通路。您的请求通过EAS提供的服务发现功能对服务进行寻址，并在客户端代码中通过软负载的方式发起负载均衡的服务请求。这个过程需要使用EAS提供的SDK来进行访问，并将endpoint_type设置为DIRECT即可。

  例如在Python SDK使用说明的场景中，您可通过在代码中增加如下一行代码，来将调用由网关改为直连：

  client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
  client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
  client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
  client.init()

EAS在线服务部署成功后，使用curl命令通过公网地址或VPC地址调用服务。具体操作步骤如下：

1. 获取服务访问地址和Token。

   1. 在模型在线服务（EAS）页面，单击目标服务进入概览页面。

   2. 在基本信息区域中，单击查看调用信息。

   3. 在调用信息对话框的公网地址调用或VPC地址调用页签，分别获取服务的访问地址和Token。

2. 使用curl命令调用服务。

   示例如下：

   $ curl <service_url> -H 'Authorization: <service_token>' -d '[{"sex":0,"cp":0,"fbs":0,"restecg":0,"exang":0,"slop":0,"thal":0,"age":0,"trestbps":0,"chol":0,"thalach":0,"oldpeak":0,"ca":0}]'

   其中：

   • <service_url>：替换为已获取的服务访问地址。

   • <service_token>：替换为已获取的Token。

   • -d：配置为服务请求数据。