LLM智能路由能显著提升推理系统的资源使用水位，为客户降本增效
适用客户
基于EAS构建LLM驱动的应用和服务，如智能客服、内容生成、语言翻译等。如果客户需要高效且稳定地处理大量用户请求，LLM智能路由能够帮助客户提升吞吐量和降低延时。
新增功能/规格
客户在部署LLM类型的EAS服务时，支持关联LLM智能路由，能够对请求进行智能分发，从而保证后端实例处理的算力和显存尽可能均匀，提升集群资源使用水位，
产品文档
文档内容是否对您有帮助？
LLM智能路由能显著提升推理系统的资源使用水位，为客户降本增效
基于EAS构建LLM驱动的应用和服务，如智能客服、内容生成、语言翻译等。如果客户需要高效且稳定地处理大量用户请求，LLM智能路由能够帮助客户提升吞吐量和降低延时。
客户在部署LLM类型的EAS服务时，支持关联LLM智能路由，能够对请求进行智能分发，从而保证后端实例处理的算力和显存尽可能均匀，提升集群资源使用水位，