本文为您介绍在线预测的相关问题。
服务部署
服务长时间处于Waiting(等待中)状态,如何解决?
服务在部署阶段后会进入到Waiting(等待中)状态,等待资源调度和服务实例启动。当所有服务实例均启动成功后,服务会进入到Running(运行中)状态。如果服务状态长时间处于等待中时,通常可以通过概览页面的服务实例列表,查看服务实例的状态来定位具体原因。原因一般分为如下两类:
资源不足:服务实例列表中所有实例或部分实例状态为Pending。
大部分原因在于专属资源组中空闲资源不足,导致实例无法调度。如下图所示:
此时,您可以检查专属资源组中的机器节点是否有足够多的空闲资源(包括CPU、Memory和GPU)。如果一个实例需要3核4 GB的资源,那么在专属资源组中需要至少一个机器节点有3核4 GB的空闲资源。
重要为避免在高负载时出现系统故障,机器节点需要预留1个核给系统组件,能调度的资源需要在总资源中减少一个核。
专属资源组节点列表如下图所示。如何查看资源组详情,请参见使用EAS资源组。
实例健康检查未完成:服务实例状态为Running,但容器状态一般为[0/1]或[1/2]。
正斜线(/)前面的数字表示启动成功的容器数量,正斜线(/)后面的数字表示总的容器数量。当您使用自定义镜像来部署服务时,实例中会自动注入一个Sidecar容器用于服务的流量控制与监控采集等工作,您无需关心该容器。在控制台您会看到总容器数量为2,即包含了您的自定义容器和引擎的Sidecar容器。此时,需要2个容器状态都为Ready时,服务实例才被视为启动完成,并开始接收流量。
服务处于Failed(失败)状态,如何解决?
服务会在以下两种情况处于Failed状态:
服务部署阶段:如果部署时指定的资源(如模型地址等)不存在,服务的当前状态信息中将显示报错原因,通常您可以根据报错信息判断出部署失败的原因。
服务启动阶段:在服务完成部署并调度到资源开始启动时失败,此时会出现状态信息
Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.
。该状态信息表示服务中某个实例启动失败,此时您需要在服务概览页面的服务实例列表中查看失败状态,来判断具体的失败原因。实例失败有如下几种情况:
服务实例在启动阶段因内存用超发生OOM被系统杀掉,这种情况需要调大服务内存来重新部署。实例状态如下图所示:
服务在启动阶段代码错误发生Crash,该情况下上次状态为Error(error code),您需要单击实例操作列下的日志按钮进一步排查服务日志,来定位服务启动失败的原因。实例状态如下图所示:
服务镜像拉取失败,参见镜像拉取失败(ImagePullBackOff)。
镜像拉取失败(ImagePullBackOff)
如果服务实例列表中看到上次退出原因是ImagePullBackOff,通常是镜像拉取失败。如果状态列有如下图标,可以单击查看具体原因。
常见镜像拉取失败原因如下:
失败原因 | 可能的报错 | 解决方案 |
系统盘空间不足 |
| |
ACR访问控制未配置 |
| 使用镜像公网地址,需为ACR开通公网访问。 使用镜像内网地址:
|
EAS网络配置问题 |
| 使用镜像公网地址时,需要给EAS配置访问公网。 |
鉴权信息缺失或错误 |
| ACR企业版实例如果没有配置公开匿名拉取,跨地域通过公网拉取,部署时需配置镜像仓库下载的用户名和密码。 获取请参见配置访问凭证。 |
根据镜像服务与EAS服务所处地域情况,建议如下:
同地域:推荐使用镜像内网地址拉取镜像。
跨地域:ACR个人版只能使用镜像公网地址。ACR企业版根据以下情况选择:
对安全性和稳定性有较高要求,使用镜像内网地址,需通过CEN打通VPC,参见跨地域或从IDC访问ACR企业版实例。
业务场景较为简单,或暂时无法完成内网打通,使用镜像公网地址,作为临时解决方案。通过公网下载,速度会比较慢。
关于ACR企业版实例,注意点如下:
需根据情况配置专有网络和公网的访问控制。
如仓库没有配置公开匿名拉取,那么跨地域通过公网地址拉取时,EAS服务需配置镜像仓库下载的用户名和密码。
EAS服务内部如何访问公网?
部署EAS服务时选择不到OSS Bucket?
在部署EAS服务时,您可以通过挂载的方式来配置模型和代码。请确保所使用的OSS存储空间和NAS文件系统与EAS服务位于同一地域,否则将无法进行选择。
部署EAS服务时为什么不能选择1核2 GB的配置资源?
为避免您在使用时出现问题,目前1核2 GB的资源已下架。因为EAS会在每个机器节点上部署一些系统组件,这些组件会占用部分机器资源。如果机型规格太小,系统组件占用的资源比例会过高,导致您的可用资源比例降低。
EAS部署服务数量上限是多少?
EAS服务部署实例数要根据资源的剩余使用量来确定,具体的剩余量可以在控制台的资源组列表的机器列表中查看,详情请参见使用EAS资源组。
如果根据CPU核数来分配任务,那么部署的实例数上限就是 (CPU核数 - 1) / 每个实例使用的核心数。
可以公网下载EAS官方镜像么?
PAI官方镜像是平台内部镜像,只能在PAI平台上使用,不能在除平台容器之外的地方下载。
EAS服务停止后自动重启
问题描述:EAS服务停止一段时间后自动重启。
部署事件记录如下:
问题原因:
这种情况是因为服务实例配置了弹性伸缩,且最小实例数为0。在一段时间没有流量后,实例数会自动缩容到0。因自动缩容导致的无可用实例,如果有请求就会触发自动扩容(不需要达到设置的扩容指标阈值)。
是否自动扩容可以根据部署事件中auto scaling的描述来判断。
解决方案:
如不再需要该服务,可直接删除。
如不想删除服务,可主动停止(通过控制台点击停止,或者调用API接口
StopService
)。主动停止的服务无法通过流量触发扩容。如果不希望弹性扩缩容导致服务自动停止,请不要将最小实例数设置为0。
您也可以根据实际需要关闭弹性扩缩容,防止意外流量触发扩容启动。
PAI-EAS启动报错IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })
问题描述:
PAI-EAS启动报错如下
[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)
[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })
[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh
问题原因:EAS实例系统盘被大量模型文件占据,造成服务无法正常启动。
解决方案:
方案一:为EAS实例扩容系统盘。
方案二:如果是模型文件过大,考虑将模型文件存储到外部存储(OSS、NAS等),通过存储挂载来读取。
如何扩容系统盘?
您可以在资源信息 > 额外系统盘进行配置,或如下直接修改服务JSON配置文件。
"features": { "eas.aliyun.com/extra-ephemeral-storage": "40GB" }
使用专属资源时,如需配置的额外系统盘大于机器剩余系统盘大小,需删除当前资源,重新购买,并在购买时调整系统盘大小。
EAS服务资源从按量付费转为包年包月
EAS服务支持从按量付费转为包年包月
登录PAI控制台,进入模型在线服务(EAS)页面,然后单击目标服务操作列下的更新,在资源信息区域,将资源类型由公共资源更新为EAS资源组。
EAS专属资源组资源不支持从按量付费转为包年包月。
服务调用
如何阻止http访问并仅允许https访问
共享网关无法设置阻止httpf访问。专属网关可以打开HTTPS重定向,这样http访问的请求都会默认重定向到https协议来访问。
在线调试时报错“no healthy upstream”
在线调试时报错,错误码为503,错误提示为“no healthy upstream”:
报错原因:实例运行时资源不足,如CPU、内存和显存被过度占用,导致没有足够的缓冲余量。
解决方案:
当资源类型为公共资源时,建议稍后在非高峰时段再尝试调用,或更换其他资源规格和地域。
当资源类型为专属资源(EAS资源组)时,确保专属资源组为实例预留足够的CPU、内存和显存(建议至少保留20%空闲资源作为缓冲)。
服务VPC地址调用和VPC高速直连调用有什么区别?
VPC地址调用:VPC地址调用是内网SLB+网关的模式(公网地址是公网SLB+网关),这是比较经典的请求模式。在这种模式下,请求需要通过SLB的4层转发和网关的7层转发之后到达服务实例。在大流量高并发的场景中,通过转发会带来一定的性能开销,同时网关也会有带宽的限制(默认1 Gbps)。
VPC高速直连:EAS提供了高速直连的访问模式,既解决了性能和扩展性的问题,也无须增加额外的成本。开通VPC高速直连后,相当于打通了您的VPC和EAS服务VPC之间的网络通路。您的请求通过EAS提供的服务发现功能对服务进行寻址,并在客户端代码中通过软负载的方式发起负载均衡的服务请求。这个过程需要使用EAS提供的SDK来进行访问,并将endpoint_type设置为DIRECT即可。
例如在Python SDK使用说明的场景中,您可通过在代码中增加如下一行代码,来将调用由网关改为直连:
client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example') client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****') client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link client.init()
如何使用curl命令调用EAS在线服务?
EAS在线服务部署成功后,使用curl命令通过公网地址或VPC地址调用服务。具体操作步骤如下:
获取服务访问地址和Token。
在模型在线服务(EAS)页面,单击目标服务进入概览页面。
在基本信息区域中,单击查看调用信息。
在调用信息对话框的公网地址调用或VPC地址调用页签,分别获取服务的访问地址和Token。
使用curl命令调用服务。
示例如下:
$ curl <service_url> -H 'Authorization: <service_token>' -d '[{"sex":0,"cp":0,"fbs":0,"restecg":0,"exang":0,"slop":0,"thal":0,"age":0,"trestbps":0,"chol":0,"thalach":0,"oldpeak":0,"ca":0}]'
其中:
<service_url>:替换为已获取的服务访问地址。
<service_token>:替换为已获取的Token。
-d:配置为服务请求数据。
服务日志中出现[WARN] connection is closed: End of file或Write a Invalid stream: End of file,如何解决?
客户端与服务端之间的连接断开,服务端在向该连接中回写请求结果时,发现连接已断开后所打的warning日志,连接断开一般分两种情况:
服务端超时断开连接:在Processor模式下,服务端默认超时时间为5秒,您可以通过服务的
metadata.rpc.keepalive
参数来修改。在超时时间到达后,服务端将关闭该连接,并在服务端的监控中记录一个408状态码。客户端超时断开连接:客户端的超时时间由您的调用端代码中设置的超时时间决定。因超时未返回HTTP响应,客户端会主动断开连接,此时服务端的监控记录中会记录一个499状态码。
关于服务请求状态码的详细说明,请参见:附录:服务状态码说明。
upstream connect error or disconnect/reset before headers. reset reason: connection termination
通常是由于长连接超时导致请求失败或实例负载不均衡等问题引起。服务端的处理超过客户端配置的HTTP超时时间后,客户端会放弃该请求,主动断开连接,此时服务端监控会出现状态码499,可以查
看监控指标进一步确认。对于推理耗时较长的情况,建议部署异步推理服务。
Tensorflow/Pytorch processor部署的服务请求在线调试失败,如何解决?
出于性能考虑,TensorFlow/PyTorch Processor的Request Body采用非明文的protobuf格式。目前在线调试仅支持明文的文本格式输入,因此该服务暂时无法在控制台上直接进行在线调试。您可以使用EAS配套提供的SDK来进行请求访问,各语言版本SDK可参考:服务调用SDK。
服务管理
EAS实例可以远程ssh连接吗?
EAS不支持远程SSH连接,无法进入容器内调试。如需执行命令,建议您将命令配置在运行命令中。
EAS服务状态有哪些?
目前,EAS服务有以下几种状态,您也可以前往模型在线服务(EAS)页面的服务状态列进行查看。
Creating:创建中
Waiting:等待中(等待实例启动完毕)
Stopped:已停止
Failed:已失败
Updating:升级中(实例会被更新)
Stopping:停止中
HotUpdate:升级中(热更新,不更新实例)
Starting:启动中
DeleteFailed:删除失败
Running:运行中
Scaling:升级中(实例扩缩容中)
Pending:等待中(等待具体处理)
Deleting:删除中
Completed:已完成
Preparing:准备
资源购买/退订/删除
专属资源组一直扩容中
通常是因为当前地域资源不足。
对于预付费机器,如果资源不足创建失败,系统会自动创建退款订单,已支付的费用会原路返回。
如何删除专属资源组的预付费机器实例?
前往阿里云资源退订页面,退订不再使用的EAS预付费专属机器。其中:
类型:选择非全额退订。
产品名称:选择EAS专属机器预付费。
单击搜索找到待退订资源,然后单击操作列下的退订资源,并按照控制台操作指引完成退订流程。
EAS资源组机器退订后服务实例数据是否会保留?
不保留服务实例数据。
权限相关
为什么RAM用户无法自动创建或删除EAS服务关联角色?
只有拥有指定权限的用户才能自动创建或删除AliyunServiceRoleForPaiEas。因此,当RAM用户无法自动创建或删除AliyunServiceRoleForPaiEas时,您需要为其添加相应的权限策略,具体操作方法如下:
通过脚本配置的方式将如下权限策略创建为自定义策略。具体操作,请参见创建自定义权限策略。
{ "Statement": [ { "Action": "ram:CreateServiceLinkedRole", "Resource": "*", "Effect": "Allow", "Condition": { "StringEquals": { "ram:ServiceName": "eas.pai.aliyuncs.com" } } } ], "Version": "1" }
将上一步创建的自定义策略授权给目标RAM用户。具体操作,请参见方式一:在RAM用户页面为RAM用户授权。