资产盘点

更新时间:
复制 MD 格式

资产盘点是Meta Agent的核心功能。通过资产盘点,Meta Agent自动扫描数据库元数据,利用大语言模型为表和字段生成业务描述、SQL注释及使用指南等知识,帮助您快速构建数据资产知识体系。本文介绍如何使用Meta Agent进行资产盘点。

应用场景

资产盘点适用于以下场景:

  • 数据库中大量表和字段缺少业务描述或SQL注释,开发和运维人员难以理解数据含义。

  • 新团队成员接手项目,需要快速了解数据库的表结构和业务逻辑。

  • 企业启动数据治理,需要批量梳理数据资产的元数据信息。

  • 为后续使用资产问答功能做知识准备,提升自然语言查询的准确率。

支持的数据库类型

资产盘点支持以下类型的数据库实例:

数据库类别

支持的数据库

关系型数据库

RDS MySQL、RDS PostgreSQL、RDS SQL Server、PolarDB MySQL版、PolarDB PostgreSQL

数据仓库

AnalyticDB MySQL版、AnalyticDB PostgreSQL版、MaxCompute

NoSQL数据库

MongoDB(仅湖仓版支持)

说明

数据库版仅支持关系型数据库;湖仓版支持全部类型。具体支持范围以控制台实际展示为准。

盘点范围与生成的知识类型

资产盘点过程中,Meta Agent将自动采集元数据并生成以下知识:

知识类型

说明

示例

业务描述

基于表结构和数据样本,为表和字段生成中文业务描述,说明数据的业务含义和用途。

t_order的业务描述:「订单主表,记录用户下单的核心交易信息」

SQL注释

为缺少COMMENT的表和字段自动生成SQL注释语句,支持批量回写到数据库。

COMMENT ON COLUMN t_order.user_id IS '下单用户ID';

使用指南

根据表的业务场景和字段特征,生成数据查询建议、关联关系说明和使用注意事项。

「查询订单时建议通过order_iduser_id进行索引查询」

业务分类

根据表的业务语义,自动归入对应的业务分类目录(如交易、用户、商品等),便于资产检索。

t_order归入「交易域 > 订单管理」分类

前提条件

  • 已购买Meta Agent(数据库版或湖仓版)。

  • 已将目标数据库实例接入AI原生数据库服务。具体操作,请参见管理数据源

  • 当前账号具有目标数据库的查询权限(至少需要SELECT权限和SHOW权限,用于元数据采集)。

操作步骤

  1. 登录AI原生数据库服务控制台

  2. 在左侧导航栏的AI 数据资产区域,单击Meta Agent

  3. Meta Agent主页的资产盘点卡片中,单击开始盘点

  4. 创建资产盘点任务弹窗中,选择盘点范围:

    • 通过实例页签切换盘点粒度,勾选要盘点的目标对象。

    说明

    您可以选择整个数据库实例进行全量盘点,也可以选择特定的库或表进行增量盘点。建议首次使用时选择包含核心业务表的实例进行试用。

  5. (可选)单击盘点配置,根据需要调整盘点参数。

  6. 确认配置后,单击下一步,进入知识生成与确认阶段,等待Meta Agent完成盘点任务。

    说明

    盘点耗时取决于数据库中表的数量和复杂度。盘点过程中Meta Agent将自动完成元数据扫描、知识生成和分类编目。盘点过程中不会修改数据库中的任何数据。

  7. 盘点完成后,查看盘点结果。您可以:

    • 单击表名查看该表的业务描述、字段注释和使用指南。

    • 对生成的业务描述和注释进行人工审核和编辑,确保知识的准确性。

执行结果

盘点完成后,您可以在以下位置查看和使用盘点生成的知识:

  • 业务目录:在Meta Agent主页左侧切换到业务目录视图,查看按业务域组织的数据资产分类。

  • 标准目录:切换到标准目录视图,按数据库结构(实例 > 数据库 > 表)查看元数据详情。

  • 最近资产:在Meta Agent主页底部的最近资产标签页中,查看最近盘点的数据资产。

  • 资产问答:盘点生成的知识将自动用于资产问答功能,您可以通过自然语言检索和分析数据资产。

盘点核心逻辑

资产盘点的本质是通过大语言模型对数据库元数据进行深度分析,结合企业所在行业和领域知识,将技术语言翻译为业务语言,构建人和AI都可理解的业务语义层。

处理过程

  1. 元数据采集:通过安全托管连接,读取目标库表的DDL、索引、约束等结构信息(不读取业务数据)。

  2. 领域知识融合:结合配置的行业、领域上下文,理解表和字段在业务中的实际含义。

  3. 语义推理与生成:大语言模型推理每张表、每个字段的业务含义,识别业务实体和实体间关系。

  4. 知识体系构建:将推理结果组织为结构化的知识体系,包括业务描述、使用说明、血缘关系、SQL知识等。

  5. 人工审核与采纳:生成的知识支持一键采纳或编辑后采纳,确保准确性。

业务语义知识的AI价值

AI在面对企业数据时,最大的障碍不是技术能力不足,而是"不懂业务"。资产盘点将数据库中技术化、缩写的元数据信息转化为业务化、明确的语义知识,让AI能够像理解自然语言一样理解企业数据。

价值维度

无语义知识时

有语义知识后

NL2SQL准确率

面对缩写表名/字段名频繁猜错,生成无效SQL。

精准理解业务含义,生成正确的SQL查询。

数据分析深度

只能做表面数值统计,无法理解业务逻辑。

理解字段取值含义,进行有业务洞察的深度分析。

问答可靠性

对"哪张表存了XX数据"类问题无法回答。

基于业务描述精准定位目标表和字段。

代码生成质量

生成的SQL可能遗漏软删除、分区等业务规则。

基于使用说明生成符合业务规则的代码。

常见问题

  • 盘点会影响数据库性能吗?

    资产盘点仅读取数据库的元数据信息(如INFORMATION_SCHEMA),不执行全表扫描,对数据库性能的影响极小。

  • 盘点结果不准确怎么办?

    生成的业务描述和注释基于LLM推理,可能存在偏差。您可以在盘点结果页面直接编辑修正,修正后的知识将被优先采用。

  • 可以对同一数据库多次盘点吗?

    可以。再次盘点时,Meta Agent将增量更新:仅对新增或变更的表和字段重新生成知识,已人工修正的内容不会被覆盖。