附录：专属网关超时时间设置说明

配置建议

以全托管网关为例，专属网关配置了以下固定的空闲连接超时时间，不支持修改：

• 网关作为服务端（面向客户端）：固定为 600 秒。客户端与网关的连接若空闲超过此时间，将被网关关闭。

• 网关作为客户端（面向模型服务）：固定为 30 秒。网关与后端模型服务的连接若空闲超过此时间，将被网关关闭。

链路如下图所示：

为确保由客户端主动管理和关闭连接，完整链路配置建议如下：

建议上下游之间预留一定安全余量，不要将两个值设置得完全相同。

各接入方式默认值

下表列出各接入方式的网关默认空闲连接超时时间，以及基于默认值的客户端和后端推理服务配置建议。

Model Gallery模板默认值（NLB风险）

后端推理服务的 Server Idle Timeout 需大于网关 Client Idle Timeout。

使用 Model Gallery 模板部署 vLLM 或 SGLang 推理服务时，模板默认将引擎 HTTP Keep-Alive 配置为 60 秒。

对于全托管网关和 ALB 专属网关，默认配置关系如下：

• Model Gallery 引擎 Server Idle Timeout 60 秒 > ALB 网关 Client Idle Timeout 15 秒

• Model Gallery 引擎 Server Idle Timeout 60 秒 > 全托管网关 Client Idle Timeout 30 秒

因此，在使用默认 ALB 专属网关或全托管网关时，Model Gallery 模板配置的 60 秒通常能够满足要求。

NLB 场景需要特别注意：

Model Gallery 引擎 Server Idle Timeout 60 秒 < NLB Client Idle Timeout 900 秒

在该配置下，后端推理服务可能先关闭空闲连接，而 NLB 或上游连接管理逻辑仍可能暂时认为连接可用。后续请求如果恰好复用该连接，可能出现 EOF、RST、连接重置或偶发 502/503。

使用 NLB 接入 Model Gallery 部署的 vLLM 或 SGLang 服务时，应将后端推理服务 Server Idle Timeout 设置为大于 900 秒，并预留安全余量。例如：

# vLLM，示例值
VLLM_HTTP_TIMEOUT_KEEP_ALIVE=1000

# SGLang，示例值
SGLANG_TIMEOUT_KEEP_ALIVE=1000

客户端配置示例

客户端 Idle Timeout 需小于网关 Server Idle Timeout。以下是针对不同编程语言管理或设置客户端空闲连接超时时间的示例。

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.client.config.RequestConfig;
import java.util.concurrent.TimeUnit;

public class HttpClientIdleTimeout {
    public static void main(String[] args) throws InterruptedException {
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        // 举例值：最大路由连接数
        cm.setDefaultMaxPerRoute(20); 
         // 举例值：最大总连接数
        cm.setMaxTotal(100);

        RequestConfig requestConfig = RequestConfig.custom()
                // 举例值：连接超时 5秒
                .setConnectTimeout(5000) 
                // 举例值：读取数据超时 10秒
                .setSocketTimeout(10000) 
                .build();

        try (CloseableHttpClient httpClient = HttpClients.custom()
                .setConnectionManager(cm)
                .setDefaultRequestConfig(requestConfig)
                .build()) {

            // 启动一个后台线程，每隔一段时间清理空闲连接
            Thread cleanerThread = new Thread(() -> {
                try {
                    while (!Thread.currentThread().isInterrupted()) {
                        // 举例值：每5秒检查一次
                        Thread.sleep(5000); 
                        // 关闭空闲时间超过 500 秒的连接 (小于网关空闲超时时间600秒)
                        cm.closeIdleConnections(500, TimeUnit.SECONDS);
                        // 关闭过期连接（例如被服务端关闭的连接）
                        cm.closeExpiredConnections();
                    }
                } catch (InterruptedException e) {
                    // 重新设置中断状态
                    Thread.currentThread().interrupt(); 
                }
            });
            // 设置为守护线程，随主线程退出而退出
            cleanerThread.setDaemon(true); 
            cleanerThread.start();

            // 执行HTTP请求...
            // 例如：httpClient.execute(new HttpGet("http://your-gateway-url"));

            // 模拟程序运行一段时间，举例值：运行1分钟
            Thread.sleep(60000); 

            // 停止清理线程 (在实际应用中，您需要在应用关闭时优雅地停止它)
            cleanerThread.interrupt();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

package main

import (
    "net/http"
    "time"
)

func main() {
    // 创建一个自定义的Transport
    tr := &http.Transport{
        MaxIdleConns:        100,              // 最大空闲连接数
        IdleConnTimeout:     500 * time.Second, // 空闲连接超时时间，例如500秒 (小于600秒)
        DisableKeepAlives:   false,            // 启用Keep-Alive
    }
}

import com.aliyun.openservices.eas.predict.http.HttpConfig;

public class EasSdkTimeoutJava {
    public static void main(String[] args) {
        // 1. 全局客户端配置
        HttpConfig httpConfig = new HttpConfig();
        // 打开清理空闲连接开关，单位毫秒，建议根据客户端情况设置
        httpConfig.setConnectionCleanupInterval(5000);
        // 设置空闲连接超时时间为500秒，小于全托管网关的空闲连接超时时间600秒
        httpConfig.setIdleConnectionTimeout(500000);
        ...
    }
}

配置建议

请求超时时间应根据实际业务需求调整。生产环境中需要综合考虑容错性、即时性、模型处理时间和网络抖动。

为了避免客户端已经超时、服务端仍在处理请求，客户端请求超时可以略大于网关请求超时。

• 通常建议客户端超时 = 服务端请求超时 + 1～5 秒缓冲时间 。

• 如果业务需要快速失败，也可以根据幂等性和重试策略设置更短的客户端超时。

对于超过 10 分钟的长耗时场景，推荐采用：

• 流式传输（Streaming），例如 AI 内容生成和大文件下载。

• WebSocket，用于需要持续双向通信的场景。

• 异步推理或任务轮询方式。

以全托管网关为例，默认请求超时为 10 分钟（600 秒）。链路如下图所示：

各接入方式的请求超时时间

客户端配置示例

以下是针对不同编程语言的客户端请求超时配置示例。

import org.apache.http.client.config.RequestConfig;

public class ApacheHttpClientTimeout {
    public static void main(String[] args) {
        // 建议客户端请求超时略大于等于网关请求超时时间（如果是默认的600秒），这里可以是610秒
        RequestConfig requestConfig = RequestConfig.custom()
                // 举例值：连接超时，单位毫秒
                .setConnectTimeout(5000) 
                // 数据传输超时 (读取超时），单位毫秒 (610秒）
                .setSocketTimeout(610000) 
                .build();
    }
}

package main

import (
    "context"
    "fmt"
    "io"
    "net/http"
    "time"
)

func main() {
    // 建议客户端请求超时略大于等于网关请求超时时间（如果是默认的600秒），这里可以是610秒
    client := &http.Client{
        Timeout: 610 * time.Second, // 整个请求的超时时间
    }

    req, err := http.NewRequest("GET", "http://your-gateway-url", nil)
    if err != nil {
        fmt.Println("Error creating request:", err)
        return
    }

    // 也可以为单个请求设置更短的超时
    ctx, cancel := context.WithTimeout(req.Context(), 610*time.Second) // 610秒
    defer cancel()
    req = req.WithContext(ctx)

    resp, err := client.Do(req)
    if err != nil {
            fmt.Println("Error sending request:", err)
            // 检查是否是超时错误
            if t, ok := err.(interface{ Timeout() bool }); ok && t.Timeout() {
                    fmt.Println("Request timed out!")
            }
            return
    }
    defer resp.Body.Close()

    body, err := io.ReadAll(resp.Body)
    if err != nil {
        fmt.Println("Error reading response body:", err)
        return
    }
    fmt.Printf("Response Status: %s\n", resp.Status)
    fmt.Printf("Response Body: %s\n", body)
}

import com.aliyun.openservices.eas.predict.http.HttpConfig;

public class EasSdkTimeoutJava {
    public static void main(String[] args) {
        // 1. 全局客户端配置
        HttpConfig httpConfig = new HttpConfig();
        // 连接超时
        httpConfig.setConnectTimeout(5);
        // 读取超时 建议客户端请求超时略大于等于网关请求超时时间（如果是默认的600秒），这里可以是610秒
        httpConfig.setReadTimeout(610);  
       
    }
}

空闲连接超时设置不当

请求超时设置不当