缓存

策略说明

• 提升性能：通过快速从缓存中获取结果，显著降低响应时间以及后端服务器的负载压力。

• 减少重复计算：对于相同的AI请求，直接返回缓存中的响应数据，避免重复调用大语言模型。

• 快速响应：发起重复请求时，能够立即获得响应，无需等待二次处理，显著提升用户的满意度和体验。

操作步骤

1. 登录AI网关控制台。

2. 在左侧导航栏，选择实例，并在顶部菜单栏选择地域。

3. 在实例页面，单击目标网关实例ID。

4. 在左侧导航栏，选择LLM API。在LLM API列表中，单击目标API，进入目标API详情页面。

5. 选择策略与插件页签，开启缓存，配置相关参数，单击保存。

   重要

   • 请前往Redis控制台添加白名单。在Redis控制台中，您需要将网关实例的VPC网段添加至白名单。

   • 携带请求头x-higress-skip-ai-cache: on时，当前请求将不会使用缓存中的内容，而是直接转发给后端服务，同时也不会缓存该请求返回响应的内容。

   

   配置项	说明
   缓存	开启或关闭缓存开关，默认关闭。
   Redis服务地址	Redis服务地址。
   访问方式	Redis服务访问方式。 账号+密码登录。 密码登录。 免密登录。
   数据库账号	数据库账号。
   数据库密码	数据库密码。
   数据库编号	指定的数据库编号。
   缓存时长（秒）	缓存时长默认为1800秒，在缓存时长内，如果API接收到相同的AI请求，则会跳过LLM请求，直接返回缓存的响应数据。