概述

更新时间:
复制 MD 格式

EMR Serverless StarRocks 打通非结构化、结构化、半结构化多模数据的处理与分析链路。无论数据存放在 OSS、DLF Paimon 表还是 StarRocks 存算分离内表,都可通过统一 SQL 组合结构化分析、全文检索、向量检索与 AI Function,服务智能驾驶、具身智能、内容与商品理解、企业知识库与 RAG 等场景。

AI 模型与 AI Function

EMR Serverless StarRocks 将模型能力封装为 SQL Function,您可以在查询、筛选、聚合和写入 SQL 中直接调用模型,完成数据理解、推理与向量化,无需部署独立 AI 服务或导出数据。执行侧提供模型路由、微批与并发、QPS 限流、Token 统计与错误治理,为生产模型调用提供统一治理入口。

AI Function 覆盖以下能力:

  • 多模数据向量化:ai_embed、ai_embed_multimodal。

  • 多模态理解与生成:ai_complete。

  • 文本情感分析、过滤、脱敏、翻译、总结:ai_sentiment、ai_classify、ai_extract、ai_filter、ai_redact、ai_similarity、ai_translate、ai_fix_grammar、ai_summarize。

  • 跨行汇总:ai_agg、ai_agg_summary,可按业务分组完成自然语言归纳。

ai_complete 支持文本、图片、视频、音频与多内容组合输入;ai_embed_multimodal 支持 URL、图片二进制及多内容输入,把多模态内容映射到统一向量空间。AI Function 既可作用于存算分离内表,也可直接处理 Paimon 表中的 VARCHAR、VARBINARY/BLOB descriptor 或对象 URL,一条 SQL 即完成“理解—抽取—向量化—落表”闭环,处理结果与原始业务字段共享同一表语义。

完整函数列表与用法参见 AI Function。

非结构化数据(Object Table)

AI 场景中,文本、图像、语音、视频等非结构化数据承载了更复杂的语义。EMR Serverless StarRocks 自 V3.5.16-2.2.2 起支持以表的形式访问 OSS 中的非结构化数据及元信息。

配合 AI Function,可对非结构化数据自动 embedding、切片,并以结构化形式存储在实例内部,支持向量检索、全文检索等推理场景。可检索的数据范围由此从结构化、半结构化拓展到非结构化,覆盖更多业务场景。

EMR AI 助手

EMR Serverless StarRocks 内置 EMR AI 助手,作为智能运维与数据分析入口,让您用自然语言完成原本需要专家经验和手工操作的工作。

EMR AI 助手覆盖以下场景:

  • 智能问数:直连 StarRocks 读数,将自然语言问题转换为可执行 SQL,返回结果与可视化。

  • 慢 SQL 与资源诊断:实时定位高消耗查询,给出优化建议,支持人工确认后干预。

  • 健康巡检:多维度定期体检实例,输出评分与高优问题清单。

  • 产品咨询:随问随答,覆盖 StarRocks 建表设计、参数配置与最佳实践。

EMR AI 助手支持控制台对话、API 调用,也可嵌入企业自有 Web 与 IM 渠道,配合按量计费与分层套餐(基础/标准/专业),覆盖单实例日常运维到批量纳管、定时巡检与团队协作等场景。

功能与接入方式参见 EMR AI助手功能介绍。

典型场景

  • 智能驾驶:按车型、天气、时段等结构化条件筛选,组合场景描述全文召回与图片/视频向量相似度,定位长尾场景;再由 AI Function 完成场景分类、标签抽取与描述生成,用于训练数据圈选与质量治理。

  • 具身智能:统一组织任务指令、环境视觉、动作序列与运行指标,检索相似轨迹并结合结构化指标定位失败原因,支撑训练集构建、评测与在线决策。

  • 内容、电商与广告:支持文搜图、图搜图、图搜文、视频搜文等跨模态检索,组合类目、时间、品牌、审核状态等条件,用于商品理解、素材推荐、版权审核与内容运营。

  • 企业知识库与 RAG:对文档、图片、音视频与业务数据完成抽取、摘要与向量化,通过全文、向量与权限/业务条件联合检索,为 RAG 与 Agent 提供更完整的上下文。

总结

EMR Serverless StarRocks 把数据处理、模型调用、多模态检索与分析消费连接成闭环。您无需引入独立的检索系统,即可在现有湖仓数据上直接使用 EMR AI 助手、AI Function 与多模态检索能力。

Paimon 湖表适合开放、低成本的多模态数据湖;存算分离内表适合在线分析与检索。两条路径共享统一 SQL、Serverless 计算与可观测体系。