Hologres自V3.2版本开始,提供AI资源(GPU)并支持AI Function能力。本文为您介绍AI Function的优势以及典型应用场景。
简介
您可以通过SQL调用AI Function的方式直接调用模型,无需单独部署AI服务,就能通过AI Function实现Embedding、Rank、LLM等AI的能力,同时可以结合Hologres向量检索、全文检索等能力,简化向量实现端到端的推理、检索能力。
AI Function优势
通过Hologres AI Function,可以利用纯SQL的能力直接调用大模型,从而使数据更有效地被AI所利用,打通自然语言与数据之间的通道。通过Hologres能够一站式实现智能检索、推理等AI服务的快速构建,降低系统架构的复杂性,同时显著减少运维和开发成本,从而使数据能够发挥更大的价值。
AI能力算子化
提供Embeding、Rank和LLM推理等多种AI Function,无需调用推理服务,通过纯SQL就能调用AI服务,有效降低开发门槛。
简化AI开发
提供AI资源(GPU),无需单独部署GPU机器,内置多种大模型,支持一键部署并分配GPU资源。使用AI Function可以直接调用模型,自动使用GPU资源,简化AI服务开发的一系列前置工作,业务只需要关心AI服务本身,同时也能显著降低运维成本。同时数据不需要导出,直接可以被大模型调用,简化开发成本,也提升数据安全能力。
一站式AI湖仓
可通过Hologres AI Function,结合向量检索等搜索能力,实现智能搜索的能力,同时Hologres本身也支持强大的OLAP和在线服务能力,可以高性能低成本的分析湖、仓的数据。通过AI能力即可通过Hologres实现一站式AI实时湖仓,大幅简化系统架构。
典型应用场景
依托于Hologres AI资源、AI Function等能力,可以快速助力业务搭建AI相关的应用场景。
高性能检索
Hologres提供Embedding、Rank、LLM的AI Function,结合Hologres向量检索能力,可以实现从语料的Chunk、Embedding到向量索引构建,Top K相似度检索等能力,通过SQL就能构建一站式的高性能检索系统。
在线推理
Hologres提供ai_gen
、ai_classify
、ai_extract
等AI Function,结合Hologres的高性能查询能力,无需外置模型,就能快速实现实时标签分类、情感分类以及在线推理等AI能力,大幅降低开发成本。