通用文本向量是一种人工智能技术,通过将文本转换为高维向量表示,捕捉其语义信息,从而支持文本相似度计算、分类和检索等多种自然语言处理任务。
场景示例
推荐:根据输入数据推荐相关条目。例如,根据用户购买历史和浏览记录推荐相关商品。
聚类:按相关性对输入数据进行分组。例如,将海量新闻按主题归类为科技、体育、娱乐等。
搜索:将搜索结果按照与输入数据的相关性进行排序。例如,文本向量模型可以根据用户搜索词语返回相关网页,多模态向量模型可以实现以文搜图。
异常检测:识别出相关性较小的异常值。例如,从大量交易记录中识别出异常交易模式。
模型介绍
通用文本向量,是通义实验室基于LLM底座的多语言文本统一向量模型,面向全球多个主流语种,提供高水准的向量服务,帮助开发者将文本数据快速转换为高质量的向量数据。
向量维度指的是向量中包含的元素数量。例如,一个 1024 维的向量包含 1024 个数值。维度越高,向量能表示的信息就越丰富,从而更细致地捕捉文本的特性。
模型名称 | 向量维度 | 最大行数 | 单行最大处理Token数 | 支持语种 | 单价 (每千Token) | |
text-embedding-v3 | 1024(默认)、768或512 | 6 | 8,192 | 中文、英语、西班牙语、法语、葡萄牙语、印尼语、日语、韩语、德语、俄罗斯语等50+语种 | 0.0007元 | 50万Token 有效期:百炼开通后180天内 |
text-embedding-v2 | 1536 | 25 | 2,048 | 中文、英语、西班牙语、法语、葡萄牙语、印尼语、日语、韩语、德语、俄罗斯语 | ||
text-embedding-v1 | 中文、英语、西班牙语、法语、葡萄牙语、印尼语 | |||||
text-embedding-async-v2 | 100,000 | 中文、英语、西班牙语、法语、葡萄牙语、印尼语、日语、韩语、德语、俄罗斯语 | - | |||
text-embedding-async-v1 | - | - |
使用注意
向量检索需保持离在线使用的向量化模型一致,使用text-embedding-v1构建离线索引数据的场景请勿使用text-embedding-v2作为query请求的向量化模型,反之亦然。
选型建议
如果您首次使用Embedding模型,建议直接选择 text-embedding-v3。该版本在语种支持、输入长度、向量维度自定义等方面全面升级,适用于大部分复杂场景:
单行长文本处理:最大单行输入长度扩展至 8192 Token。
更多语种支持:覆盖 50+ 种语言。
灵活的向量维度选择:支持 512、768 和 1024 维度,适应不同任务需求。
多样化输出类型:支持 dense 和 sparse 向量输出。
考虑使用 v1 或 v2 的场景
对于某些特定需求,text-embedding-v1 和 text-embedding-v2 仍是值得考虑的选项:
更多输入行数:如果您的任务需要处理超过 6 行的文本输入,建议选择 text-embedding-v1 或 text-embedding-v2。
已使用 v2或v1 的用户:如果您已使用 text-embedding-v2或text-embedding-v1 并且当前任务需求已满足,建议继续使用 。
选择 async 版本(高并发处理场景)
对于需要高并发、大批量文本处理的用户,建议选择 text-embedding-async-v1 或 text-embedding-async-v2:
大批量文本输入:async 版本支持单次处理 100,000 行文本,适合大规模检索或高并发任务。
选择版本建议:根据所需功能选择 v1 或 v2 的 async 版本,推荐优先选择与已用版本兼容的 async 版本。