使用GA加速调用百炼上的大模型API_全球加速(GA)-阿里云帮助中心

由于阿里云百炼服务的接入点和模型服务位于北京地域，用户使用公网在跨地域调用大模型API时，可能因公网质量不稳定导致访问延迟、抖动和丢包等问题。结合GA产品加速百炼服务，可提升大模型调用体验。

方案效果

不使用GA调用通义千问API	使用GA加速调用通义千问API

示例效果仅供参考，实际加速效果请以您的实际业务测试为准。

方案架构

使用GA加速调用百炼上的大模型API，只需3步：

创建并配置GA实例：
1. 实例类型：选择标准型按量付费GA实例。
2. 加速地域：需要加速访问的客户端的所在地域。客户端请求通过访问加速地域内的加速IP就近进入阿里云加速网络。
3. 监听：GA监听来自客户端的特定协议与端口的访问流量，并转发给终端节点组的后端服务（源站）进行处理。
4. 终端节点组：需要加速的服务。后端服务可以配置为百炼对应地域的公网域名dashscope.aliyuncs.com。
5. 转发策略：将Host请求头重写为百炼域名，满足百炼平台API调用要求。
配置域名解析：新创建的标准型GA实例的域名，无法直接使用HTTP/HTTPS访问。您需要在自定义域名的解析记录中，添加1条CNAME记录，指向GA实例的域名。
调用大模型API：最终使用您的自定义域名调用大模型API。假设您的自定义域名为www.example.com，则base_url字段配置为https://www.example.com/compatible-mode/v1。

业务架构示意图：

适用范围

已掌握调用百炼大模型API的基础操作，包括账号与实名认证、API Key获取与配置、开发环境配置、调用大模型API等。
已注册自定义域名。如果加速地域选择中国内地地域，或使用北京地域百炼服务，自定义域名需要已完成ICP备案。
使用HTTPS调用大模型API，在配置GA监听时需要使用HTTPS监听并选择服务器证书，因此需要提前准备好与自定义域名匹配的服务器证书。非阿里云购买的证书需要将证书上传到数字证书管理服务才能被选择。

操作步骤

1. 创建并配置GA实例

前往全球加速控制台的标准型实例页面，单击创建标准型按量付费实例。
实例基础配置。完成后单击下一步。
1. 使用GA标准型按量付费实例。
2. 加速IP类型保持默认值弹性公网IP。
配置加速区域。完成后单击下一步。
1. 加速地域选择华南1（深圳）。
2. （可选）带宽峰值有更高需求时可以进行调整。带宽峰值仅作为参考值和上限，不作为业务承诺指标。
  重要
  如果带宽峰值设置过低，可能出现限速从而导致流量被丢弃，请合理规划带宽峰值，确保和业务需求匹配。
3. （可选）加速地域客户端访问的IP地址协议默认为IPv4。仅需IPv6访问时可改为IPv6，同时需要IPv4和IPv6访问时可改为双栈。
4. （可选）在中国香港、日本（东京）地域，公网质量类型支持选择BGP精品，提升访问质量。
配置监听。完成后单击下一步。
1. 路由类型保持默认智能路由（原标准监听）。
2. 协议选择HTTPS，最大版本选择HTTP/1.1，端口配置为443。
3. 服务器证书选择自定义域名所对应的证书。
4. 其他参数保持默认。
配置终端节点。完成后单击下一步。
1. 地域选择华北2（北京）。
2. 终端节点配置中，后端服务类型选择自定义域名，后端服务填入百炼对应地域的公网域名dashscope.aliyuncs.com。
3. 后端IP地址协议选择HTTPS（表示流量从GA转发到百炼使用HTTPS），协议版本选择HTTP/1.1。
4. 涉及跨境时，需要勾选数据跨境合规承诺。
5. 其他参数保持默认。
检查配置并单击提交，完成GA实例创建。
配置转发策略。由于百炼等大模型应用平台限定API请求的Host请求头必须为平台域名，因此GA还需要配置转发策略重写域名。
1. 前往全球加速控制台的标准型实例页面，单击目标实例ID。
2. 在GA实例详情页面单击监听页签，单击目标监听ID。
3. 在监听详情页面单击转发策略页签，单击插入新策略。
  - 转发条件：配置1条，精确匹配自定义域名（例如www.example.com）。
  - 转发动作：配置2条，重写域名为百炼域名（例如dashscope.aliyuncs.com）、转发至默认终端节点组（后端服务为百炼域名）。
4. 策略配置完成后，单击确定。

2. 配置域名解析

非阿里云注册的域名，需要先将域名添加到云解析控制台-公网权威解析，才可以在阿里云进行域名解析设置。可参考添加并管理非阿里云注册域名文档。

如果使用其他厂商的域名解析服务，以对应平台操作指导为准。

在域名解析页面，找到目标域名，在操作列单击解析设置。
单击添加记录。参考以下信息添加CNAME记录，完成后单击确定。
1. 记录类型选择CNAME。
2. 主机记录输入加速域名的前缀。
3. 记录值输入GA实例分配的CNAME，可在全球加速控制台的标准型实例页面查询。
4. 其他参数保持默认。

3. 调用大模型API

参考百炼文档调用大模型API。假设您的自定义域名为www.example.com，则base_url字段配置为https://www.example.com/compatible-mode/v1。

计费说明

全球加速费用：标准型按量付费GA实例需要支付实例费、性能容量单位CU费、流量费用（由CDT统一结算出账）。您可查看对应计费规则。
域名和DNS解析费用：除了需要支付域名供应商的域名费用外，在阿里云配置DNS解析需要支付公网权威解析费用。
证书费用：从阿里云购买证书或将证书上传至阿里云，需要支付服务器证书费用。
百炼模型费用：调用百炼API需要支付模型费用。

应用于生产环境

计费模式优化：流量波动大或用量小时，建议选择按量付费，更灵活；如果业务流量较为稳定，长期使用可考虑包年包月，成本更低。
固定公网加速IP：
- 问题：按量付费类型的GA实例每个加速地域分配2个弹性公网IP，2个弹性公网IP可同时参与客户端流量接入，保障加速地域的高可用性。加速地域较多时各地域EIP均不相同，无法满足部分用户用固定IP对外提供服务的需求。
- 解决方案：在创建实例时可以考虑使用任播弹性公网IP（Anycast EIP）类型的加速IP，GA将在全球多地域提供2个固定的公网IP地址。但需注意，Anycast EIP接入点位置相比弹性公网IP有差异，主要支持除中国内地以外区域网络加速（中国内地客户端通过中国香港接入）。
  任播弹性公网IP类型的加速IP正在灰度开放中，如无法选择请联系商务经理申请试用。
跨境线路优化（可选）：为获取更优的跨境加速效果，可将默认的精品带宽升级为专线。可在GA控制台的实例详情页的传输网络质量类型区域查看，并按照页面指导信息进行申请及切换。
重要
如果GA实例当前的加速配置涉及跨境网络，该切换操作会导致断流1分钟，请谨慎操作。
GA加速多个服务：对于需要使用同一个GA实例加速多个服务的场景，例如需要同时加速访问百炼服务和应用型负载均衡ALB，可以为GA实例配置转发策略，根据不同访问请求执行不同的转发动作。
配置转发策略加速多个服务
例如，希望实现如下需求：
- 请求路径为/modelstudio时，对访问百炼域名dashscope.aliyuncs.com进行加速。
- 请求路径为/alb时，对访问ALB进行加速。
转发策略配置参考如下。终端节点组的后端服务分别对应百炼域名和ALB实例。

常见问题

使用自定义域名调用大模型API时报错Connection error

该问题通常是因为客户端请求未转发到百炼服务，导致请求无法被处理。

可参考如下思路进行排查：

代码调用：检查代码中base_url是否配置正确。正确格式应为https://www.example.com/compatible-mode/v1。
域名备案：如果加速地域选择中国内地地域，或使用北京地域百炼服务，需要检查域名是否已完成ICP备案。
DNS解析：检查DNS解析记录，确保自定义域名的CNAME记录已正确指向GA实例提供的域名，并且解析记录已在加速地域生效。
GA配置：
1. 检查加速地域对应的带宽峰值是否覆盖当前业务峰值，是否受到接入点加速IP丢包影响。
2. 检查加速地域对应的IP协议版本是否与客户端请求匹配，例如只配置了IPv4但使用IPv6客户端发起请求。
3. 检查监听协议和版本是否符合要求，建议使用HTTPS协议、HTTP1.1版本。
4. 检查HTTPS监听对应的服务器证书域名，是否与自定义域名匹配。并且证书需要在有效期内。
5. 检查终端节点组的地域是否为调用的百炼服务所在地域、后端服务是否正确配置为百炼域名、后端IP地址协议是否为HTTPS，协议版本建议为HTTP1.1。
6. 检查是否配置了转发策略，重写百炼域名是否配置无误。