多源多引擎 DataAgent

更新时间:
复制 MD 格式

多源多引擎 DataAgent 是 AI 数据探索客户端中 AI Query 的多源分析能力,可在一次对话中联合分析多个数据引擎中的数据与本地业务资料,并返回查询结果、知识引用和可视化图表。

功能概述

多源多引擎 DataAgent 面向同时分析企业数据、对象文件和本地知识的业务场景。它将 MaxCompute、Hologres、StarRocks、Milvus、对象存储 OSS、知识空间与“我的记忆”纳入 AI Query 分析流程,按问题调用 SQL、向量检索、全文检索或文件读取能力,汇合查询结果、知识引用和可视化。DataAgent 由交互层、能力层和数据层组成,各层关系如下图所示。

image

准备工作

  • 已安装AI数据探索客户端。

  • 已准备所需数据源的连接地址和访问凭证。

  • 已在设置 > AI 配置中启用 MaxCompute 内置 AI 服务,或配置自己的百炼 API Key。

快速开始

  1. 在左侧活动栏中单击数据源连接,创建 MaxCompute、Hologres、StarRocks、Milvus 或 OSS 数据源连接。

  2. 在知识与记忆中添加存放关联分析资料的本地文件夹,构建知识空间。

  3. 使用 Catalog、SQL 编辑器、Milvus 检索构造器或 OSS Bucket 管理页查看和分析数据。

  4. 在 AI Query 中持续提出关注的业务问题,并查看查询、检索和可视化结果。

连接数据源

创建连接

  1. 在左侧活动栏中单击数据源连接。

  2. 单击面板顶部的 +。

  3. 选择数据源类型和鉴权方式。

  4. 填写连接参数并单击测试连接。

  5. 单击保存并连接。

连接成功后,可在数据源连接面板查看状态和详情,或连接、断开和删除数据源。

配置数据源

MaxCompute

鉴权方式

参数

适用场景

OAuth

地域或 Endpoint、项目名称、账号站点(中国站/国际站);首次使用在浏览器完成授权登录

无AK方式,浏览器授权后凭据按有效期自动刷新

AccessKey 鉴权

地域或 Endpoint、项目名称、AccessKey ID、AccessKey Secret

使用长期凭证连接项目

STS 临时凭证鉴权

地域或 Endpoint、项目名称、STS AccessKey ID、STS AccessKey Secret、Security Token

使用临时凭证连接项目

Hologres

参数

说明

连接名称

用于在连接列表中识别连接

主机地址

Hologres 实例域名

端口

默认 80

数据库名

要连接的数据库

AccessKey ID

具备数据库访问权限的 AccessKey ID

AccessKey Secret

与 AccessKey ID 对应的密钥

StarRocks

参数

说明

连接名称

用于在连接列表中识别连接

主机地址

StarRocks FE 节点地址

端口

默认 9030

数据库名

填写后限定到单个数据库;留空时可在 Catalog 中选择数据库

用户名

数据库用户名

密码

数据库密码

Milvus

参数

说明

连接名称

用于在连接列表中识别连接

主机地址

Milvus 服务地址

端口

默认 19530

数据库名

填写后限定到单个 Database;留空时可浏览全部 Database

用户名

Milvus 用户名

密码

Milvus 密码

启用 TLS

连接启用 TLS 的服务地址时开启

对象存储 OSS

参数

说明

连接名称

用于在连接列表中识别连接

鉴权方式

AccessKey 鉴权或 STS 临时凭证鉴权

地域或 Endpoint

Bucket 所在地域或自定义 Endpoint

AccessKey ID

AccessKey 或 STS AccessKey ID

AccessKey Secret

AccessKey 或 STS AccessKey Secret

Security Token

STS 临时凭证的安全令牌

Bucket

填写后限定到单个 Bucket;留空时浏览可访问的 Bucket

使用 S3 兼容存储时,在地域选项中选择自定义 Endpoint,并填写服务地址。

浏览 Catalog

Catalog 根据数据源类型显示不同层级。展开节点可查看表、Collection、字段、Bucket 和对象目录。

数据源

Catalog 层级

常用操作

MaxCompute

项目 > Schema > 表 > 列

生成查询、打开表详情、预览数据

Hologres

数据库 > Schema > 表 > 列

生成 SELECT、打开表详情

StarRocks

数据库 > 表 > 列

生成 SELECT、打开表详情

Milvus

Database > Collections > Collection > Field

查看字段、打开详情、生成查询

OSS

Bucket > 目录 > 对象

打开 Bucket 管理页、浏览文件

查询、检索与分析

执行 SQL 查询

数据源

脚本位置

SQL

MaxCompute

SQL 脚本根目录

ODPS SQL

Hologres

hologres/

PostgreSQL 兼容 SQL

StarRocks

starrocks/

MySQL 兼容 SQL

  1. 新建或打开 SQL 文件。

  2. 从编辑器顶部选择连接。

  3. 输入 SQL,或从 Catalog 生成查询。

  4. 执行全文、选中内容或光标所在语句。

  5. 在结果区查看数据和诊断信息。

执行 Milvus 检索

检索构造器用于通过表单生成 Milvus JSON 操作脚本。所有模式都需要先选择集合;选择集合后,可按需调整输出字段。

模式

适用场景

按 ID 检索

查找与已有主键记录相似的数据

全文检索

根据文本关键词返回全文匹配结果

条件查询

按标量条件查询记录

按 ID 获取

按一个或多个主键读取记录

  1. 在编辑器顶部选择 Milvus 连接。

  2. 展开检索构造器并选择集合。

  3. 选择检索模式,填写该模式需要的输入项。

  4. 按需选择结果的输出字段。

  5. 单击生成脚本将 JSON 脚本写入编辑器,或单击运行直接执行。

管理 OSS 对象存储

在 OSS Bucket 管理页中,可按分列、列表或网格视图浏览对象,新建文件夹,上传、下载、重命名或删除文件,并查看传输进度和预览内容。AI Query 可列出 Bucket 和对象、读取文件样本,并生成 MaxCompute 查询 SQL 或外部表 DDL。

查看结果与可视化

执行 SQL 或检索后,可按结果类型切换视图:

  • 表格和 JSON:查看原始行列或结构化响应。

  • 图表:使用柱状图、折线图、面积图、饼图、散点图、雷达图、矩形树图、漏斗图、桑基图、关系图、三维图和指标卡等展示结果。

  • 透视和质量分析:聚合维度指标,查看空值、分布和异常。

  • 向量分析:查看距离分布、近邻、主成分分析和热力图。

  • 执行诊断:查看 MaxCompute 执行日志和 Logview,或查看 Hologres、StarRocks、Milvus 作业监控。

图表配置完成后,可固定到数据看板继续分析。详细操作请参见数据看板(Dashboard)。

知识与记忆

知识空间将本地资料构建为可检索的知识来源。“我的记忆”用于保存可跨会话复用的偏好、事实和业务约定。

创建知识空间

  1. 打开左侧栏知识与记忆。

  2. 单击 +,选择资料所在文件夹。

  3. 确认空间名称、向量模型、文件类型和定时同步选项。

  4. 单击创建并同步。

  5. 等待空间状态显示已同步的来源数量。

同步完成后,可在空间内使用自然语言搜索资料,查看按文档分组的引用片段,预览原文件,以及手动或定时同步发生变化的文件。

管理我的记忆

我的记忆可由 AI 在对话中保存,也可手动新建。

  1. 打开知识与记忆 > 我的记忆。

  2. 单击新建记忆,填写主题、关系、内容和标签。

  3. 单击保存。

记忆列表支持搜索、按标签筛选、按日期分组和置顶。选择记忆后,可编辑内容和标签,也可删除不再需要的记忆。来源标记用于区分手动添加与 AI 写入的内容。

使用 AI Query 融合分析

AI Query 是 DataAgent 的自然语言入口。它根据问题使用可用的数据源连接、Catalog、知识空间和记忆,执行查询、检索或文件读取,并汇合多源结果。

适用场景

  • 经营数据与制度材料联合分析:查询数仓指标,同时检索业务文档中的指标定义和制度说明。

  • 实时与离线数据对照:对照 MaxCompute 离线结果与 Hologres、StarRocks 实时数据,定位口径或时效差异。

  • 语义检索与明细验证:先在 Milvus 或知识空间中召回相关内容,再查询数据表验证结论。

  • 对象文件与数仓数据分析:读取 OSS 文件样本,并与云端表数据关联分析。

  • 持续复用业务上下文:使用我的记忆中的常用口径、偏好和事实解释后续结果。

发起多源分析

  1. 在 AI Query 中说明分析目标和时间范围。

  2. 指定需要使用的数据引擎、知识空间或 OSS 对象。

  3. 对写入、删除或文件修改操作核对审批卡片。

  4. 查看 DataAgent 返回的查询结果、引用片段和可视化。

  5. 继续追问指标口径、异常来源或细分维度。

示例问题:

  • 结合 MaxCompute 的销售明细和知识空间中的促销规则,解释本月毛利变化。

  • 对照 Hologres 实时订单与 MaxCompute 日结表,找出差异最大的渠道。

  • 先在 Milvus 查找相似投诉,再用 StarRocks 统计对应原因的近 7 天趋势。

  • 读取 OSS 中的销售文件样本,并按我的记忆中的区域口径汇总。