借助AI搜索开放平台实现检索增强

本文将介绍如何在行业算法版中使用AI搜索开放平台提供的文本向量化服务,以实现在业务数据导入阶段和搜索阶段中利用AI模型提升向量化效果,提升检索效果。

背景信息

AI搜索开放平台围绕智能搜索及RAG场景,将AI搜索链路中用到的算法服务以组件化形式提供,内置多种文本向量化模型、LLM大语言模型等,开发者根据自身情况灵活选择组件服务进行搜索业务开发。

现已支持在行业算法版中开通并接入AI搜索开放平台所提供的模型服务,在索引结构配置时,建议选择使用AI搜索开放平台提供的多维度文本向量化模型来分析索引字段。在业务数据导入和搜索阶段,行业算法版将依据配置的索引字段方式进行文本向量化,从而提升搜索效果。

使用流程

image

计费规则

AI搜索开放平台提供的文本向量化服务采用按量付费模式,按照服务调用量计费。每小时生成一个计费账单,所有的分时账单归属于一个订单,并按照生成订单时的账单从阿里云账号扣费,您可以在费用与成本中心查看消费明细

重要

由于在业务数据导入阶段和业务调用搜索功能阶段,行业算法版将依据配置的索引字段方式进行业务数据文本向量化和搜索内容向量化,因此在这两个阶段均会产生向量化费用。

服务ID

简介

计费单位

0-500个单位定价

超出500个单位定价

ops-text-embedding-001

多语言(40+)文本向量化服务,输入文本最大长度300,输出向量维度1536维

元/千tokens

0.005

0.0001

ops-text-embedding-002

语言(100+)文本向量化服务,输入文本最大长度8192,输出向量维度1024维

0.005

0.0005

ops-text-embedding-zh-001

中文文本向量化服务,输入文本最大长度1024,输出向量维度768维

0.005

0.00005

ops-text-embedding-en-001

英文文本向量化服务,输入文本最大长度512,输出向量维度768维

0.005

0.00005

使用示例

  1. 购买行业算法版独享型实例,目前仅支持在独享型实例中使用AI搜索开放平台提供的多维度向量化服务。

  2. 单击一键接入开通AI搜索开放平台服务。

    重要

    您使用该功能将使得您的业务数据传输至产品部署(中国上海)的区域进行处理,因您的配置而异,可能会涉及跨境数据传输,以下信息需要您知晓并遵守:

    • 如涉及跨境数据传输,使用本功能,即表示您确保您业务数据的跨境传输符合所有适用法律,包括提供充分的数据保护、提供充分的隐私声明、获得有关个人的必要同意等,且您的业务数据不含任何适用法律限制或禁止传输或披露的内容。

    • 您在此声明并保证,您将遵守以上合规要求。如因您违反前述声明与保证,导致阿里云和/或其关联公司遭受任何损失,您应承担赔偿责任。

    image

    接入AI搜索开放平台服务后,您可以看到服务调用相关信息:

    界面

    说明

    image

    image

    工作空间:用于隔离和管理不同的业务数据,首次开通AI搜索开放平台服务后,系统自动创建一个Default空间,您也可以创建更多空间隔离不同业务。

    AI搜索开放平台支持通过空间+RAM用户授权方式,让RAM用户最小化权限使用AI服务,增加数据安全,详情参见空间管理RAM用户授权

    当前RAM账号有多个工作空间的使用权限时,单击编辑切换空间。

    接入地址:AI搜索开放平台支持通过公网访问服务,也支持杭州、深圳、北京、张家口、青岛地域的用户通过VPC地址跨地域调用AI搜索开放平台的服务。

    单击编辑配置行业算法版实例通过公网或者VPC地址调用服务。

    API Key:调用服务时的身份认证信息。如果您需要将指定工作空间下的API Key授权给RAM用户使用,需要给RAM用户授予相关的权限

    存在多个API Key或者API Key失效时,单击编辑切换API Key。API Key失效时,页面会提示您更新,同时,业务系统使用搜索业务时也会返回报错信息。

    image

    开通AI搜索开放平台服务后,您也可以将地域切换为上海,体验AI搜索开放平台提供的更多服务。

    imageimage

  3. 配置应用结构,具体步骤包含添加搜索业务数据源信息、定义主表、配置多表之间的关联关系、表主键、字段映射类型等信息。

  4. 配置索引结构,字段类型为TEXT或者SHORT_TEXT时,分析方式可选择向量分析(AI搜索开放平台提供的多维度文本向量化服务)下的服务,后续导入业务数据时,可以直接导入原始文本数据,通过此处的文本向量化服务完成数据向量化,产生的费用请参见计费规则

    image

  5. 配置数据源,本实例中的业务数据存储在MaxCompute中,根据MaxCompute数据特性,行业算法版允许用户指定数据导入的分区,支持通过正则表达式导入前一天的数据构建索引,可参见配置MaxCompute 数据源掌握更多数据分区条件写法。

    image

  6. 完成上述配置后,系统开始导入数据并构建索引,通过实例详情页查看任务进度。

    image

    应用状态为正常时,表示索引构建完成。

    image

  7. 配置搜索召回时使用的向量模型,单击搜索算法中心>召回配置>查询分析器配置,在功能选择模块选择文本向量化,向量索引值为步骤4中配置的索引名称。一个应用中可以添加多条查询分析器,详情参见查询分析配置

    image

  8. 单击功能扩展>搜索测试测试搜索效果,测试阶段也会产生向量化费用。

    image

    通过查询分析过程确认搜索内容是否使用了AI搜索开放平台提供的向量化服务:

    image

    测试效果达到业务要求时,您可以参照开发指南在业务应用中通过SDK调用搜索功能。

常见问题

调用搜索功能时,系统报错提示“6614:AI平台文本向量化失败”。

image

6614错误提示表示AI搜索开放平台配置发生错误导致调用服务时出错,可以按照以下步骤检查和解决:

  • 检查AI搜索开放平台服务是否处于开通状态,如果服务已关闭,需要手动开通,测试搜索是否正常。

    image

    image

  • AI搜索开放平台服务已开通,调用搜索功能时仍然报错6614,需要进行以下操作:

    • 确保API Key处于启用状态:需要您将地域切换为上海,通过AI搜索开放平台确认API Key已启用;也可以返回行业算法版单击编辑将API Key切换为已启用状态的API Key。

    • 确保当前RAM账号有工作空间的使用权限:AI搜索开放平台支持通过空间+RAM用户授权方式,让RAM用户最小化权限使用AI服务,增加数据安全。可以参照空间管理RAM用户授权完成空间和RAM账号的授权。

    • 确保接入地址能正常访问。

    image