EAS模型服务概述

基础设施层：支持异构硬件（CPU或GPU）的基础设施，并提供了AI专属的GU机器规格和抢占型实例，以帮助您降低成本并提高效率。

容器调度层：通过自动扩缩容等多种方法，帮助您在业务的波峰波谷中更高效地管理集群资源，实现降本增效的目标。支持以下几种方法：

• 弹性扩缩容：当业务负载呈现显著的波峰波谷时，通过开启弹性扩缩容功能，系统可自动调整实例数量，实现动态管理线上服务的计算资源，避免资源浪费。

• 定时扩缩容：在可以预估业务负载的场景中，服务可以定时将实例数自动扩缩容到指定数量，从而避免资源浪费。

• 弹性资源池：如果专属资源组内资源已经占满，服务会自动将扩容的实例弹到按量计费的公共资源组机器上，以保障服务的稳定性。

模型部署层：通过服务部署发布的多项功能，帮助您实时高效地监控服务状态，并简化服务发布和更新流程，以适配最合理的计算资源。服务部署发布支持的功能如下：

• 一键压测：支持动态加压，并能自动寻找服务的负载上限。此外，还提供了实时查看压测秒级监控数据和查看报告的功能。

• 灰度发布：支持将多个服务加入同一个灰度群组，其中一些服务用于生产环境，而另一些服务则用于灰度环境。此外，还支持切换每个服务的流量分配比例，以进行更灵活的灰度测试。

• 实时监控：服务部署成功后，您可以在服务监控页面查看相关指标，例如QPS、响应时长、CPU利用率等，以了解服务调用及运行情况。

• 流量镜像：支持将当前服务的流量按照一定比例镜像到目标服务中，同时不影响当前服务的正常运行。这一功能主要用于测试新服务的性能和可靠性。

推理能力：目前EAS支持的推理能力如下：

• 实时同步推理：适用于个性化搜索、智能对话等场景，具有高吞吐、低延迟的特点，同时不影响线上业务的正常运行。系统还可以根据业务需求适配合理的部署机型，以实现最佳的运行效果。

• 近实时异步推理：适用于文图生成、视频处理等场景，在推理服务内部集成了消息队列。使得服务能够按需进行弹性扩缩容，且无需进行运维工作。