AI 助理
文档备案控制台
官方文档
输入文档关键字查找
首页 人工智能平台 PAI 操作指南 模型在线服务（EAS） 服务调用 使用专属网关

使用专属网关

更新时间：
产品详情
我的收藏

共享网关因带宽共享且访问策略固定，难以满足高并发业务对隔离性和弹性的高要求。为此，EAS提供了专属网关，它提供灵活的公网或内网访问控制、支持自定义域名，并独享带宽，保障服务的稳定与可靠。

概述与选型

EAS提供以下两种专属网关：

  • 应用型专属网关（ALB）：基于应用型负载均衡ALB实现七层流量管理，支持HTTP(S)协议，具备自动弹性、安全可靠、智能路由等特性。

    重要

    推荐在生产环境中使用应用型专属网关（ALB），以获得更好的性能、稳定性和扩展性。

  • 全托管专属网关：EAS原有的专属网关。在PAI控制台即可完成网络配置及自定义域名等多种网关诉求。网络结构原理如图所示：

    image
重要

当服务使用专属网关时，弹性伸缩不支持从0进行扩容，即最小实例数需设置为大于0。

计费说明

  • 应用型专属网关（ALB）：费用来自关联的ALB实例，详情请参见ALB计费规则。

  • 全托管专属网关：

一、新建并配置专属网关

【推荐】应用型专属网关（ALB）

1.1 创建ALB网关

首先，需要创建一个网关的逻辑配置，此步骤不会产生实际的云资源和费用。

  1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

  2. 在推理网关页签，单击新建专属网关，并选择应用型专属网关（ALB）。

  3. 系统会检查您的服务关联角色权限。若未开通，请根据提示完成授权。

  4. 输入网关名称，然后单击提交。

1.2 创建并关联ALB实例以开通网络访问

创建网关后，需为其开通内网或公网访问。此操作会自动在您的账户下创建并关联一个 ALB 实例，并开始计费。

重要

应用型专属网关（ALB）开通公网和内网访问需选择相同的VPC，并且使用该网关部署的EAS服务也需配置相同的VPC。

  1. 在推理网关页签的列表中，单击刚创建的 ALB 网关名称，进入详情页。

  2. 在网关访问控制区域，可以看到专有网络和公网两个页签。

    开通专有网络（内网）访问

    1. 在专有网络页签下，单击添加专有网络。

    2. 在弹出的配置抽屉中，选择符合业务规划的 VPC和交换机。为确保高可用，请选择至少两个不同可用区的交换机，每个可用区只能选择一个交换机。

      重要

      如果该网关已开通公网访问，则此处选择的专有网络 VPC必须与之保持一致。

    3. 单击确定。系统将开始创建 ALB 实例。

    开通公网访问

    1. 切换到公网页签，单击开通公网。

    2. 在弹出的配置抽屉中，选择符合业务规划的 VPC和交换机。为确保高可用，请选择至少两个不同可用区的交换机，每个可用区只能选择一个交换机。

      重要

      如果该网关已开通专有网络访问，则此处选择的专有网络 VPC必须与之保持一致。

    3. 单击确定。系统将开始创建 ALB 实例。

全托管专属网关

全托管专属网关支持以下功能：

  • 访问控制：通过白名单控制公网和内网访问。

  • 自定义域名访问：支持配置自定义域名和证书提供对外服务。

  • 跨账号VPC访问：支持跨账号的同地域VPC内服务器通过内网地址访问EAS服务。

  • 权威域名解析：支持网关域名权威解析，跨云、线下IDC机房调用EAS服务时使用，需与阿里云网络打通。

1.1 新建全托管专属网关

  1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

  2. 在推理网关页签，单击新建专属网关，选择全托管专属网关。

  3. 在EAS专属网关付费页面，配置参数。请参考附录：服务专属网关容量说明选择网关规格，以保证服务的稳定性。

  4. 参数配置完成后，单击立即购买。按照界面操作指引确认订单并完成支付。

    您可以在推理网关列表中查看已购买的全托管专属网关，当状态为运行中时，即可使用该全托管专属网关。

说明

全托管专属网关新建之后支持更新网关规格和网关节点数，更改后大约需3~5分钟生效。

1.2 配置访问控制

在推理网关页签，单击目标全托管专属网关名称进入详情页面，在网关访问控制区域进行配置。

公网访问控制

  1. 在公网页签，打开访问入口开关。当状态为已开通时，表明已为全托管专属网关开启公网访问通道。image

  2. 默认公网均不可访问全托管专属网关，您需要单击添加白名单，填入允许访问的公网IP地址段（例如192.0.2.0/24）。

    • 每个条目之间使用半角逗号（,）或换行符分隔。

    • 如需设置公网均可访问，则添加0.0.0.0/0地址段。最多支持添加15个地址段。

  3. 验证全托管专属网关公网访问连通性。例如添加的白名单地址段为本地设备的公网IP地址。

    1. 在公网页签，查询域名地址。image

    2. 在本地终端中，访问该域名地址，输出如下结果，表明支持白名单地址段通过公网访问该专属网关。

      image

  4. 关闭全托管专属网关公网访问通道。

    1. 在公网页签，关闭访问入口开关，即可关闭该网关公网访问权限。

    2. 在本地终端中，访问该域名地址，输出如下结果，表明该网关的公网访问通道关闭。imageimage

内网访问控制

  1. 在专有网络页签，单击添加专有网络，选择需要连通的VPC及交换机。

    • 支持跨账号添加同地域VPC。添加账号B的VPC后，该VPC内服务器能通过VPC地址访问使用该专属网关的EAS服务。

      说明

      此为白名单功能，如有需要请提工单。

      image

    • 支持网关域名权威解析。跨云、线下IDC机房调用EAS服务时使用，需提前和阿里云网络打通。目前只能在一个专有网络的配置中使用权威域名解析。

  2. 添加VPC时，系统会默认在该VPC上配置一个0.0.0.0/0的白名单，表示允许该VPC内所有IP访问。您可根据需要修改白名单。

  3. 验证专属网关的内网访问连通性。

    1. 在专有网络页签，查询域名地址。image

    2. 在专有网络内的终端机器上，访问该域名地址，输出如下结果，表明支持白名单地址段通过内网访问专属网关。

      说明

      在专有网络内，所有可用区都可以通过配置白名单访问专属网关，不局限于添加到专属网关的交换机可用区。

      image

  4. 关闭专属网关的专有网络访问通道。

    1. 您可以在专有网络列表中，单击交换机操作列下的删除，即可关闭专属网关的专有网络访问权限。

    2. 在专有网络内的终端机器上，访问该域名地址，输出如下结果，表明专属网关的内网访问通道已关闭。

      image

      image

1.3 配置自定义域名

  1. （可选）数字证书管理。如果您使用HTTPS协议来访问服务，需先在数字证书管理服务中维护自定义域名的SSL证书才能在专属网关中进行设置。

    1. 登录数字证书管理服务控制台，选择SSL证书管理。

    2. 域名没有证书可以选择购买证书，或者上传已有的证书，详情请参见购买SSL证书和上传SSL证书。

      SSL证书

  2. 配置公网和内网自定义域名。

    配置公网自定义域名

    1. 在专属网关详情页面，切换到域名页签，单击创建域名，参考下图进行配置。

      创建公网自定义域名

      如果服务已经使用该专属网关部署，在公网自定义域名设置成功之后，需要等待一会儿（5分钟以内）才生效。查看服务调用信息，如果公网调用地址的域名已经为网关中配置的公网自定义域名，则公网自定义域名已经生效。

    2. 配置公网域名解析。为公网自定义域名添加CNAME解析记录，将其指向专属网关公网域名。

      1. 在专属网关的网关详情页签，查看专属网关的公网域名地址。

        image

      2. 以阿里云权威域名解析为例（其它云厂商类似）。登录阿里云DNS解析控制台，在权威域名页签找到自定义域名（非阿里云注册域名需手动添加域名），单击进入解析设置页面，单击添加记录。其中记录类型选择CNAME，主机记录为自定义域名，记录值填写步骤a中的专属网关公网域名。详情请参见添加域名和添加解析记录。

        域名解析添加记录

    配置内网自定义域名

    1. 在专属网关详情页面，切换到域名页签，单击创建域名。参考如下配置。

      创建自定义域名

    2. 如果服务已经使用该专属网关部署，在内网自定义域名设置成功之后，需要等待一会儿（5分钟以内），查看服务调用信息，如果调用信息中VPC调用地址中的域名已经为网关中配置的私网域名，则域名已经生效。

说明

可以将某个专属网关设置为默认网关。后续在部署服务时，系统将自动选择它。

二、服务绑定专属网关

以通过控制台自定义部署一个新服务为例，操作如下。对于已部署的服务，可通过服务更新操作来修改其绑定的网关。

  1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

  2. 在推理服务页签，单击部署服务，然后在自定义模型部署区域，单击自定义部署。

  3. 在网络信息区域，选择专属网关，并下拉选择已创建的专属网关。

    重要

    如果使用应用型专属网关（ALB），服务必须配置与网关相同的专有网络。

三、测试服务调用

在推理服务页签，在目标服务的服务方式列单击调用信息，在专属网关页签，能查询公网调用地址、VPC调用地址和Token。

image

使用curl命令发起请求，验证返回数据是否正常。

  • 公网调用：可以在本地终端中执行。

  • 内网调用：在专有网络内的终端机器上执行。

curl <接口URL> -H'Authorization:<token>'

下图测试接口为GET请求，无参，期望返回True。

公网调用

监控与告警配置

应用型专属网关（ALB）

大部分高级网络配置和监控功能，请前往应用型负载均衡ALB控制台进行统一管理，以获得最大的灵活性。

全托管专属网关

为保障全托管网关的服务稳定性并及时发现运行异常，建议您为其开启日志、监控与告警。

操作步骤

  1. 开启日志、监控与告警。在网关详情页的日志、监控和告警页签，按照页面指引进行开启。

  2. 创建告警策略：成功开启告警功能后，页面将显示创建EAS专属网关告警策略按钮，单击该按钮。 参见管理告警规则，为该网关创建告警规则。

    重要

    告警内容中用于标识网关的变量 {{$labels.envoy_clusterid}}显示的是内部ID，不包含您自定义的网关名称，这使得在收到告警时难以快速定位到具体网关。为方便识别，强烈建议您在创建告警规则时，手动修改通知模板，将该变量替换或补充为易于辨识的网关名称。image

告警指标详解

指标名称

精确定义与计算公式

推荐阈值与场景建议

EAS专属网关CPU使用率

网关实例（Pod）的CPU使用率百分比。

建议： 持续 5 分钟 > 85%。
场景： 持续高位表明网关资源接近瓶颈，可能需要扩容。

EAS专属网关内存使用率

网关实例（Pod）的内存使用率百分比。

建议： 持续 5 分钟 > 85%。
场景： 持续高位可能导致OOMKilled，影响网关稳定性。

EAS专属网关整体正确率

(HTTP状态码为2xx的请求数 / 总请求数) * 100%。

建议： 持续 1 分钟 < 99.9%。
场景： 核心可用性指标，下跌通常意味着后端服务或网关配置出现严重问题。

EAS专属网关证书到期

监控网关上配置的HTTPS证书的剩余有效天数。

建议： 剩余天数 < 15。
场景： 避免因证书过期导致HTTPS服务中断。

EAS专属网关请求4xx/5xx占比

(4xx或5xx请求数 / 总请求数) * 100%。建议分别配置4xx和5xx告警。

5xx建议： 持续 1 分钟 > 1%。
4xx建议： 持续 5 分钟 > 5%。
场景： 5xx激增表明服务端严重错误；4xx激增可能表示客户端调用异常或鉴权问题。

EAS专属网关请求平均RT

单位为毫秒（ms），统计周期内所有请求响应时间的平均值。

建议： 根据业务基线设定，如 持续 3 分钟 > 200ms。
场景： RT升高直接影响用户体验，需关注。

EAS专属网关请求量同比昨日

当前时间点N分钟内的请求量与昨日同一时间点N分钟内的请求量对比的百分比变化。

建议： 持续 10 分钟 < -50% 或 > 200%。
场景： 用于发现流量的突降（可能服务异常）或突增（可能遭受攻击或活动流量）。

EAS专属网关请求限流

统计周期内被网关限流策略拒绝的请求总数。

建议： 1分钟内 > 10 次。
场景： 频繁触发限流说明流量超出预期，需评估是否需要调整限流策略或扩容。

常见问题

  1. 添加专有网络报错：Vswitch vsw-2zeqwh8hv0gb96zcd**** in zone cn-beijing-g is not supported, supported zones: [cn-beijing-i cn-beijing-l cn-beijing-k]

    选择的交换机所属可用区不符合要求。请重新选择一个支持的可用区内的交换机。

相关文档

上一篇：通过网关进行公网或内网调用（默认）下一篇：附录：服务专属网关容量说明