联网搜索

联网搜索策略能够扩展大语言模型的知识范围,通过实时检索互联网数据(支持夸克搜索引擎),提升生成内容的准确性与时效性。本文将为您介绍LLM API 联网搜索策略的功能优势,以及开启步骤。

策略说明

  • 搜索引擎支持:夸克搜索引擎(阿里云信息查询服务),扩展大模型的知识范围。

    1. 搜索重写:将模型生成的多种结果,在搜索引擎中检索后的优化和重构,生成高质量、高相关性的上下文信息。

    2. 意图识别:快速分析大模型输入,判断是否需要调用联网搜索。

  • 灵活配置选项:联网搜索配置,支持自定义返回结果数量、超时时间、查询时间范围及行业筛选等参数,提升生成内容的准确性和时效性。

  • 结果渲染:支持中英文双语输出、展示引用来源,并提供引用格式自定义配置,满足多样化的展示需求。

操作步骤

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API,进入目标API详情页面。

  5. 选择策略与插件页签,开启联网搜索: 目前搜索引擎支持夸克(阿里云信息查询服务)。

  6. 首次使用夸克联网搜索时,默认服务状态未开通状态。单击前往开通,跳转至信息查询服务的服务开通页面进行开通。

    image

    开通后,单击开通校验,控制台的服务状态会更新为试用中

    说明

    阿里云信息查询服务提供15天的免费试用,用量为1000次/天,性能限制5 QPS。您可以进行正式接口的申请,具体步骤详情,请参见正式开通流程说明

  7. 配置相关参数后,单击保存以启用联网搜索策略。

    配置项

    说明

    联网搜索

    开启或关闭联网搜索开关,默认关闭。

    搜索配置

    API Key

    访问凭证。您可以参考创建并查看凭证在访问信息查询服务凭证管理控制台进行获取。

    返回结果数量

    范围1-10,最大值为10,即最多返回10篇结果。

    超时时间

    默认3000ms。

    查询时间范围

    • 1天内

    • 1周内

    • 1月内

    • 1年内

    • 无限制

    行业(可选)

    • 金融

    • 法律

    • 医疗

    • 互联网

    • 税务

    • 新闻省级

    • 新闻中央

    结果渲染

    说明

    结果渲染用于配置搜索结果的展示格式与丰富度。

    默认语言

    支持中、英文。

    输出引用来源

    是/否,默认为否,不展示引用来源。

    引用来源位置

    首部/尾部,默认位置为首部。

    内容类型

    • 摘要(默认):只返回搜索条目的摘要信息,满足大模型的基础推理需求,覆盖常规问答任务的信息检索需求。

    • 正文:返回搜索条目的正文信息,信息量较大但内容详细,适合需要信息细节的场景。

    引用格式

    %s为引用条目的渲染占位符,可以按需修改引用条目的展示格式。可以单击右侧填写示例查看引用格式示例。

    自动启用

    是否开启

    是否开启自动启用联网搜索。

    • 开启:调用时进行联网搜索,若已配置意图识别,则根据意图识别的结果进行处理。

    • 关闭:调用时默认不进行联网搜索,可通过调用参数手动控制是否要进行联网搜索。详细信息和使用示例,请参见手动控制参数说明

    意图识别

    是否开启

    是否开启意图识别配置。意图识别:

    • 判断是否需要进行联网搜索。

    • 对联网搜索的搜索语句进行改写、拓展,增强搜索能力。

    重要

    意图识别能力也会消耗Token,并且不会在模型调用监控中被统计。

    AI 服务

    选择AI 服务。

    模型名称

    选择模型名称。

    超时时间

    设置超时时间,默认5000ms。

    搜索重新生成的最大查询次数

    重新生成搜索查询的最大次数,默认1次。若配置为大于1次,改写将会产生多个搜索语句进行并发搜索,并最终聚合个多个搜索的结果。

手动控制参数说明

当请求中包含web_search_options字段时,联网搜索会被激活。

使用示例:

("web_search_options": {})

若已经配置意图识别,web_search_options参数还具备控制搜索改写数量的能力,通过search_context_size字段控制。

search_context_size支持三个级别:

  • low:生成1个搜索查询(适合简单问题)。

  • medium:生成3个搜索查询(默认值)。

  • high:生成5个搜索查询(适合复杂问题)。

使用示例:

{
  "web_search_options": {
    "search_context_size": "medium"
  }
}

curl中完整的请求样例:

curl --location 'http://your-domain/v1/chat/completions' \
   --header 'Content-Type: application/json' \
  --data '{
    "model": "qwen-max",
    "stream": true,
    "web_search_options": {
        "search_context_size": "medium"
    },
    "messages": [
        {
            "role": "user",
            "content": "介绍下通义千问"
        }
    ]
}'

效果展示

  • 当选择输出引用来源时:

    image

  • 当选择输出引用来源时,效果为:

    image