Agent-RL（强化学习）网络方案

2.1 客户需求

• 大规模沙箱弹性部署：数十万级沙箱秒级拉起与回收，私网 IP 资源可复用、不与存量网络冲突。

• 本地与海外流量分流：国内阿里云服务与本地流量就近出网，海外 HTTP/HTTPS Tools 流量走专用出口。

• 跨境访问质量：提升海外 Tools 连接成功率，降低出口 IP 被封禁导致的训练中断。

• 出向安全可审计：对 HTTP/HTTPS 出向流量实现域名级管控、访问日志与异常检测。

• 路由级隔离：沙箱网段与生产网段隔离，控制爆炸半径，并支持低成本回退。

2.2 方案架构

架构说明：沙箱 VPC 采用"主网段 + 附加网段"分层设计——主网段（172.16.0.0/20）部署公网 NAT、私网 NAT 等网关组件，附加网段（10.0.0.0/8 内划分）部署 ACS/ACK 沙箱，附加网段仅本 VPC 有效、不对外发布路由。沙箱出向分两条通道：本地/非 HTTP 流量按默认路由经公网 NAT 出网；海外 HTTP/HTTPS 流量由显式代理（http_proxy/https_proxy）引流，先经私网 NAT 网关 SNAT 为主网段 NAT IP，再经 CEN-TR 跨地域私网送达海外 EPG，由 EPG 出口地址池（Local ISP EIP）直接出互联网。

分流原理：代理环境变量是应用层配置，只对读取它的程序生效——这些程序将 HTTP/HTTPS 请求发给 EPG 私网端点（HTTP CONNECT 隧道，代理只转发不解密）；不读取代理变量的程序与非 HTTP 协议按网络层默认路由走 NAT。这就是"同一批沙箱、两条出口"的分流机制。

回程设计：显式代理不做网络层 SNAT，若以附加网段源地址直连 EPG，回包将因附加网段路由不发布而无法返回——好比快递的寄件地址写了一个不对外公开的地址，回件自然投递不到。因此代理流量入 CEN 前先由私网 NAT 转换为主网段内的 NAT IP（本方案在主网段内规划 NAT 专用交换机 172.16.15.240/28，私网 NAT 部署于该交换机，其网段即 NAT IP 池；不可手工创建与 VPC 网段重叠的 NAT IP 地址段，详见部署指导 3.1 步骤 4）。回程沿已发布的主网段路由回到沙箱 VPC，再命中"NAT IP 池网段 → 私网 NAT"路由完成反向转换送达沙箱，形成闭环且隔离不被破坏。

流量路径：

架构要点：

• 双出口分工：NAT 承载本地与通用协议流量（成本可控、规模大），EPG 专代海外 HTTP/HTTPS（连接复用、出口调度、七层管控），互不干扰。

• 隔离闭环：附加网段路由在 TR 入地域网关方向 deny，沙箱以 NAT IP（主网段身份）进入 CEN；回程依赖"NAT IP 地址段 → 私网 NAT"路由完成反向转换。

• 出口 IP 本地化：EPG 出口池绑定 Local ISP 类型 EIP，相比国际 BGP IP 更接近当地用户，降低被识别为代理流量的概率（实际封禁率改善以 PoC 实测为准）。

• 反向隔离：沙箱侧使用独立 TR 路由表并 deny 生产网段，避免运行不受信任代码的沙箱主动访问生产环境。

• 全链路可观测：将沙箱 VPC 流日志与两地 TR 流日志接入 NIS 流量分析器，提供私网流量观测、TOP 流量分析、异常流量定位与网络实例异常诊断；结合 EPG 访问日志与私网 NAT 会话日志，支撑出向流量的审计与联合溯源（见 4.4 验证检查清单与部署指导 3.4）。

• 高质量的跨地域访问：跨地域采用CEN云企业网，提供高质量的内网互访通道。

备选方案对比与选型理由：

在"不搬迁算力、需要七层管控、要降低封禁"三个约束下，双出口混合方案在质量、管控、运维与可回退性之间取得平衡。

2.3 客户价值

• 流量智能分流：本地与海外流量各走其路，互不干扰；国内阿里云服务经 no_proxy 直连不受影响。

• 跨境访问质量提升：海外流量经阿里云内网传输 + Local ISP IP 出网，连接成功率与评测效果改善（以 PoC 实测为验收口径）。

• 出口 IP 智能调度：Random/ConsistentHash 调度策略，出口地址随需增减，降低单 IP 高频封禁风险。

• 出向安全可审计：EPG 三阶段规则引擎（PreDns/PreRequest/PostResponse）实现域名/URL/Header 级管控；EPG 访问日志与私网 NAT 会话日志联合溯源。

• 环境隔离与可回退：附加网段路由级隔离；显式代理基于标准环境变量，移除即回退至 NAT 路径。

适用于 AI Agent 强化学习训练、SWE Benchmark 评测、Coding 沙箱、模型后训练等需要"大规模沙箱 + 海外 Tools 调用"的场景。

2.4 涉及产品与计费

成本结构提示：本方案的增量成本集中在 CEN 跨境带宽（大头）、Local ISP EIP 与 EPG；本地流量成本不变。带宽包适合流量平稳场景，按流量付费适合波动场景，两者存在盈亏平衡点，建议 PoC 阶段用真实流量校准（金额以阿里云价格计算器与控制台实时计价为准）。

3.1 显式代理（环境变量）配置规范

• 代理端口：http_proxy 与 https_proxy 统一填写 http://EPG私网域名:1080。标准 HTTP 代理用一个明文端口同时处理 HTTP 与 HTTPS 目标（HTTPS 走 CONNECT 隧道）；EPG 的 443 监听仅用于"TLS 客户端接入"零信任场景，普通接入填 443 会报 Proxy CONNECT aborted。

• no_proxy 完整性：必须包含 localhost、内网网段（10.0.0.0/8、172.16.0.0/12、192.168.0.0/16、100.64.0.0/10）、元数据地址 100.100.100.200 与 aliyuncs.com，否则元数据或内网请求可能误走代理。

• 不要豁免 aliyun.com：www.aliyun.com 是公网官网域名，加入 no_proxy 后绕过代理直连可能超时；不同客户端对 *./CIDR 的解析行为不一致，统一写裸域名后缀（如 aliyuncs.com）最稳妥。

• 大小写双写：同时设置 http_proxy/https_proxy/no_proxy 与 HTTP_PROXY/HTTPS_PROXY/NO_PROXY，覆盖不同 SDK 读取习惯；alibaba-inc.com 仅在沙箱确需且可达集团内网时保留。

• 工具链差异：部分工具仅支持域名后缀、不支持 CIDR，上线前用实际工具链验证 no_proxy 行为。

3.2 路由与隔离

• 三张路由表闭环：沙箱自定义路由表（Egress VPC 网段 → 私网 NAT、默认 → 公网 NAT）、沙箱 VPC 系统路由表（NAT IP 池网段 → 私网 NAT 的回程路由、确认 Egress VPC 网段经 CEN 传播可达）、Egress VPC 路由表（确认主网段回程路由已学习），三者缺一即出现黑洞（"黑洞"指流量因无匹配路由被丢弃），详见部署指导 3.1 步骤 9。TR 路由策略（企业版）必须关联到具体 TR 路由表才生效；若为反向隔离新建了独立 TR 路由表，需将 deny 策略重新关联至该路由表并复验。

• 路由策略：TR 入地域网关方向 deny 附加网段前缀；deny 前缀必须与实际规划的附加网段一致；请勿将沙箱默认路由指向 TR，避免本地流量绕行跨境链路。如需最小化暴露面，可在 Egress 方向仅放行 NAT IP 池网段（而非整个主网段）的路由学习。

• SNAT 优先级：若 ECS 已绑定 EIP，其出口优先级高于 SNAT，SNAT 不生效（来源：官方文档 NAT SNAT 生效规则）。

3.3 高可用与容灾

• 组件级：公网/私网 NAT 选择跨可用区容灾；EPG 与 Egress VPC 交换机跨 ≥2 可用区部署；CEN-TR 产品原生多可用区冗余。各产品 SLA 以其官方服务等级协议文档为准。

• 地域级：海外出口为单地域时，地域或跨境链路故障将导致海外 HTTP 出口整体失效（本地 NAT 流量不受影响）。高可用要求高的场景建议规划第二出口地域与备用跨地域连接（冷备/热备形态与常驻成本需预先评估），通过 PrivateZone 代理域名切换实现故障切换；切换 SOP 应包含触发条件（如 EPG 503 率或跨境带宽利用率阈值）、切换步骤（预降 TTL → 变更解析 → 验证）、以及存量 CONNECT 长连接需等待自然断开或重启工作负载加速收敛的说明。RTO 目标建议分钟级，以演练实测校准。

3.4 安全与合规

• 代理的强制性边界：显式代理是应用层自愿机制，不受信任代码可忽略变量直接经 NAT 出海。需要强制管控时，建议采用云防火墙出向连接管控（域名级）作为补偿控制，且出向白名单必须同时覆盖本地出口所需的国内公网目标（或将管控范围限定为海外方向），避免误伤经公网 NAT 的本地流量；若部署了出向强制封禁规则，回退前必须先放行海外流量经 NAT 出网，否则回退后海外流量全断（见 5 回退方案）。

• 审计溯源：SNAT 后 EPG 日志中的源地址为 NAT IP（多沙箱复用），需开启私网 NAT 会话日志并投递日志服务，且两侧日志均需包含源 IP + 源端口（五元组）与时间戳，通过"EPG 日志五元组 → NAT 转换记录 → 沙箱实例"联合溯源；建议日志保留期 ≥30 天。

• 跨境合规：跨境传输的数据（prompt、模型输出、代码等）需按数据出境合规要求评估——由数据 Owner 会同法务/安全团队明确适用口径（数据出境安全评估、标准合同等），并在 PoC 启动前形成评估结论；注意"创建跨境连接时的控制台合规确认"是平台程序性动作，不替代企业自身的数据出境法定义务。

• TLS 能力按需：EPG 的 TLS 拦截（代理与目标之间解密，需自有 CA 证书）与 TLS 客户端接入（沙箱与 EPG 之间加密）相互独立、可分别开关；普通显式代理场景无需开启。

4.1 实施准备

• 环境预检清单

  • 前置产品已开通：VPC、NAT 网关、CEN、EIP、PrivateZone、NIS、EPG（含目标地域可用性确认）；Local ISP IP 能力已申请。

  • 配额确认：NAT 绑定 EIP 数（默认 20/实例）、EIP 持有数、VPC 附加网段数（5 个）、私网 NAT 的 NAT IP 数（默认配额较小，按需申请提升）、SNAT 条目数、CEN 跨境带宽（默认 100 Mbps）。

  • 网络规划完成：主网段/附加网段/Egress VPC 网段、NAT 专用交换机网段、可用区已确定，且与企业存量网段无冲突。

  • 已确认 EPG 私网接入形态（Egress VPC 内直连 VIP；若为 PrivateLink 形态，见部署指导 2.2 分支说明）。

• 容量评估

  • 沙箱并发连接数 → NAT IP 数量（SNAT 端口容量 ≈ NAT IP 数 × 单 IP 可用端口）与 EIP 池规模。

  • EPG 实例规格（并发连接/新建连接/吞吐）按峰值并发海外调用 × 1.5 校核（以产品规格说明为准）。

  • 跨境带宽 ≈ 峰值并发海外调用 × 单任务带宽，按业务峰值 1.5 倍预留。

  • 高可用等级 → 是否启用跨可用区容灾与第二出口地域。

4.2 快速部署路径（PoC/验证）

适合快速验证场景。1~2 天完成双通道连通性与分流验证。注意：Local ISP IP 能力与 CEN 跨境带宽提升如需申请，存在数天~1 周前置周期，请提前启动。

4.3 进阶部署路径（生产环境）

适合生产环境。在快速部署基础上追加高可用、安全加固、性能优化等生产级配置。预计 3~5 天。

4.4 验证与故障排查