Agent Sandbox 网络规划与扩容

背景信息

Agent Sandbox 中的沙箱运行用户提交的代码，默认不可信。为防止沙箱访问集群内部组件或其他租户，Agent Sandbox 按信任等级将集群工作负载划分为三个网络分区（托管及非托管侧系统组件和沙箱算力），建议沙箱使用独立的 vSwitch 和安全组进行隔离。

企业级安全组可关联的弹性网卡（ENI）数量存在上限（65,536）。当单个安全组承载的沙箱接近上限或交换机可用IP消耗殆尽，需新建一组 vSwitch 和安全组来承载新增沙箱。

创建 vSwitch

1. 在容器计算服务控制台，单击目标集群名称，进入集群信息页面。

2. 在基本信息页签的网络区块，单击VPC名称，进入专有网络控制台。

3. 在专有网络控制台，切换到资源管理页签，添加交换机。具体操作，请参见创建专有网络与交换机。

   • 建议每个可用区至少创建一个，保证跨可用区的高可用。

   • CIDR（地址段）按现有网段顺延，避开已占用网段。

可在专有网络控制台，左侧菜单选择交换机查看剩余可用IPv4地址数，避免消耗殆尽。

为NAT添加 SNAT 条目

新创建的 vSwitch 不会自动加入 NAT网关的 SNAT 表。如果不添加 SNAT 条目，该 vSwitch 上的 Pod 将无法访问公网（拉取镜像、访问外部 API 都会超时）。

1. 进入目标集群的集群信息页面。在基本信息页签的网络区块，单击NAT网关名称，进入NAT网关控制台。

2. 在 NAT 网关控制台，切换到SNAT管理页签，为新 vSwitch 创建SNAT条目并绑定 NAT EIP。具体操作，请参见创建 SNAT 条目。

复用或新建沙箱安全组

1. 在安全组控制台查看现有沙箱安全组是否可以复用。

   基于安全组最佳实践，建议单个安全组 IP 占用率不超过 80%（约 52,000 个）。

2. 在安全组控制台逐项配置放行规则：沙箱出向规则、沙箱入向规则、目标侧入向规则。具体操作，请参见创建安全组。

   企业级安全组的组内连通策略为组内隔离，即组内实例之间默认不互通，请参考组内互通功能。

   说明

   以下涉及到的组件网段可通过以下方式查询：

   • 集群托管组件

     • ACS/ACK：进入目标集群的集群信息页面。在基本信息页签的网络区块，查看控制面交换机信息。

   • 集群非托管组件

     • ACS：进入目标集群的集群信息页面。在基本信息页签的网络区块，查看控制面交换机信息。

     • ACK：进入目标集群的节点池页面。查询对应节点池的交换机信息。

   沙箱安全组入方向规则

   来源	协议/端口	用途	策略
   集群托管组件网段	TCP/9090、TCP/9100、TCP/10254	Prometheus / node-exporter / Ingress metrics	允许
   	ICMP	健康探测	允许
   集群非托管组件网段	TCP/49983、TCP/49999	sandbox-manager 和 sandbox-gateway → 沙箱 Pod（envd / jupyter）	允许

   沙箱安全组出方向规则

   目标	协议/端口	用途	策略	优先级
   100.100.100.200/32	TCP/80、TCP/443	ECS 元数据服务	拒绝	1
   集群托管组件网段	TCP/6443	API Server	允许	1
   	TCP/9082	Poseidon 托管组件	允许	1
   	TCP/53、UDP/53	内网DNS（PrivateZone） / DNS 上游	允许	1
   集群托管/非托管组件网段	TCP/53、UDP/53	沙箱访问 CoreDNS Pod	允许	1
   10.0.0.0/8、172.16.0.0/12、192.168.0.0/16	ALL	私有网络（防止沙箱探测内网）	拒绝	10
   0.0.0.0/0	ALL	公网出口 按需开放。	允许	20

   安全组规则优先级数值越小，优先级越高。相同优先级下，拒绝规则优先生效。

   目标侧安全组入向规则

   新增 vSwitch 后，沙箱 Pod 访问的目标组件（CoreDNS、Api Server 等）所在的安全组必须新增入向规则，将新 vSwitch 的网段放行。

   来源	协议/端口	用途	必选
   新沙箱 vSwitch网段	TCP/53、UDP/53	可选，沙箱访问域名解析服务CoreDNS	否
   	TCP/6443	ACS 实例访问集群 API Server	是
   	TCP/9082	ACS 实例访问Poseidon 托管组件	否

将 vSwitch 和安全组配置到 Pod

apiVersion: agents.kruise.io/v1alpha1
kind: SandboxSet
metadata:
  name: code-interpreter
  namespace: default
spec:
  template:
    metadata:
      annotations:                       
        # 交换机 ID，多个用英文逗号分隔
        network.alibabacloud.com/vswitch-ids: "vsw-uf6h*********oy7n,vsw-uf6vx********9c"
        # 安全组 ID，多个用英文逗号分隔
        network.alibabacloud.com/security-group-ids: "sg-uf6g**********i0dn"
 # ...

调整TrafficPolicy / NetworkPolicy

扩容后需要检查现有的 TrafficPolicy（apiVersion: network.alibabacloud.com/v1alpha1）规则是否覆盖新网段。详细配置，请参考使用TrafficPolicy管理Agent网络访问、为Agent Sandbox配置增强型出口流量管理。

网络连通性验证

扩容完成后，使用沙箱 Pod 或临时测试 Pod 逐项验证网络连通性。

curl https://httpbin.org/ip

# 查询集群内部服务域名
getent hosts kubernetes.default.svc.cluster.local

相关文档

• 使用TrafficPolicy管理Agent网络访问

• 为Agent Sandbox配置增强型出口流量管理

• 为ALB Ingress配置ACL实现访问控制