联网搜索策略能够扩展大语言模型的知识范围,通过实时检索互联网数据(支持夸克搜索引擎),提升生成内容的准确性与时效性。本文将为您介绍LLM API 联网搜索策略的功能优势,以及开启步骤。
策略说明
搜索引擎支持:夸克搜索引擎(阿里云信息查询服务),扩展大模型的知识范围。
搜索重写:将模型生成的多种结果,在搜索引擎中检索后的优化和重构,生成高质量、高相关性的上下文信息。
意图识别:快速分析大模型输入,判断是否需要调用联网搜索。
灵活配置选项:联网搜索配置,支持自定义返回结果数量、超时时间、查询时间范围及行业筛选等参数,提升生成内容的准确性和时效性。
结果渲染:支持中英文双语输出、展示引用来源,并提供引用格式自定义配置,满足多样化的展示需求。
操作步骤
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。
选择策略与插件页签,开启联网搜索: 目前搜索引擎支持夸克(阿里云信息查询服务)。
首次使用夸克联网搜索时,默认服务状态为未开通状态。单击前往开通,跳转至信息查询服务的服务开通页面进行开通。
开通后,单击开通校验,控制台的服务状态会更新为试用中。
说明阿里云信息查询服务提供15天的免费试用,用量为1000次/天,性能限制5 QPS。您可以进行正式接口的申请,具体步骤详情,请参见正式开通流程说明。
配置相关参数后,单击保存以启用联网搜索策略。
配置项
说明
联网搜索
开启或关闭联网搜索开关,默认关闭。
搜索配置
API Key
返回结果数量
范围1-10,最大值为10,即最多返回10篇结果。
超时时间
默认3000ms。
查询时间范围
1天内
1周内
1月内
1年内
无限制
行业(可选)
金融
法律
医疗
互联网
税务
新闻省级
新闻中央
结果渲染
说明结果渲染用于配置搜索结果的展示格式与丰富度。
默认语言
支持中、英文。
输出引用来源
是/否,默认为否,不展示引用来源。
引用来源位置
首部/尾部,默认位置为首部。
内容类型
摘要(默认):只返回搜索条目的摘要信息,满足大模型的基础推理需求,覆盖常规问答任务的信息检索需求。
正文:返回搜索条目的正文信息,信息量较大但内容详细,适合需要信息细节的场景。
引用格式
%s
为引用条目的渲染占位符,可以按需修改引用条目的展示格式。可以单击右侧填写示例查看引用格式示例。自动启用
是否开启
是否开启自动启用联网搜索。
开启:调用时进行联网搜索,若已配置意图识别,则根据意图识别的结果进行处理。
关闭:调用时默认不进行联网搜索,可通过调用参数手动控制是否要进行联网搜索。详细信息和使用示例,请参见手动控制参数说明。
意图识别
是否开启
是否开启意图识别配置。意图识别:
判断是否需要进行联网搜索。
对联网搜索的搜索语句进行改写、拓展,增强搜索能力。
重要意图识别能力也会消耗Token,并且不会在模型调用监控中被统计。
AI 服务
选择AI 服务。
模型名称
选择模型名称。
超时时间
设置超时时间,默认5000ms。
搜索重新生成的最大查询次数
重新生成搜索查询的最大次数,默认1次。若配置为大于1次,改写将会产生多个搜索语句进行并发搜索,并最终聚合个多个搜索的结果。
手动控制参数说明
当请求中包含web_search_options
字段时,联网搜索会被激活。
使用示例:
("web_search_options": {})
若已经配置意图识别,web_search_options
参数还具备控制搜索改写数量的能力,通过search_context_size
字段控制。
search_context_size
支持三个级别:
low:生成1个搜索查询(适合简单问题)。
medium:生成3个搜索查询(默认值)。
high:生成5个搜索查询(适合复杂问题)。
使用示例:
{
"web_search_options": {
"search_context_size": "medium"
}
}
在curl中完整的请求样例:
curl --location 'http://your-domain/v1/chat/completions' \
--header 'Content-Type: application/json' \
--data '{
"model": "qwen-max",
"stream": true,
"web_search_options": {
"search_context_size": "medium"
},
"messages": [
{
"role": "user",
"content": "介绍下通义千问"
}
]
}'
效果展示
当选择输出引用来源为
是
时:当选择输出引用来源为
否
时,效果为: