数据采集（DataBridge Agent）-AI 原生数据库服务(AIDBS)-阿里云帮助中心

DataBridge Agent是AI原生数据库服务提供的多源数据采集与解析工具，能够将数据库、非结构化文档、网页等多种来源的异构数据统一采集、解析并转换为标准结构化格式，为AI模型训练、RAG工作流、数据分析等下游应用提供高质量的数据输入。

什么是DataBridge Agent

企业在进行大模型训练或数据分析时，通常需要整合来自数据库、网页、文档等多种来源的数据。然而，数据格式复杂、质量参差不齐，且缺乏统一的采集工具，导致数据接入和处理效率低下。

DataBridge Agent基于阿里云数据库工具的核心数据采集与解析能力，将复杂的数据处理流程封装为独立的Agent，实现多种数据源的统一接入。您只需一次配置，即可将原始数据解析输出为JSON、CSV、Parquet等标准格式，服务于多个下游系统，打通企业内部的数据链路。

DataBridge Agent提供以下三大核心能力：

多模态数据准备与检索：支持从数据库、非结构化文档、网页等多种数据源采集数据，内置OCR与智能解析引擎，自动识别并提取字段、表头及层级关系，一键转换为标准结构化格式。
数据探索与分析：对采集到的数据进行自动分析和质量评估，帮助您快速了解数据分布、发现异常值，为下游AI应用提供经过验证的高质量数据。
链路操作与运维：通过控制台提供可视化的任务管理和监控能力，支持任务调度、运行状态监控和异常告警，保障数据采集链路的稳定运行。

DataBridge Agent支持以下类型的数据源：

数据类型	支持范围
数据库	支持主流关系型与分析型数据库，包括： MySQL：RDS MySQL、PolarDB MySQL版、自建MySQL等。 PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、自建PostgreSQL等。 Oracle：PolarDB PostgreSQL版（兼容Oracle）、自建Oracle等。 SQL Server：RDS SQL Server、自建SQL Server等。
非结构化文档	PDF、Word、Excel、PPT、Markdown等，内置OCR能力，可解析图片或扫描件中的文本与表格。
网页内容	支持通过提取HTML页面结构或模拟API请求等方式，精准抓取网页数据。

DataBridge Agent支持将采集到的原始数据转换为以下标准格式，可直接用于大模型训练或数据分析：

场景类型	应用说明
大模型训练数据准备	快速采集并结构化处理海量多源数据，为大语言模型（LLM）提供高质量的训练语料。
Agent工作流数据输入	为RAG（检索增强生成）、流程Agent等提供精准、实时的外部数据支撑，提升AI应用的准确性和时效性。
跨云/混合云数据整合	从本地数据中心、私有云、其他公有云等多源系统中统一抽取、整合数据。
文档自动化处理	批量将PDF、Excel等格式的业务文档解析为结构化数据，用于BI分析、报表生成或数据归档。
网页信息采集	结构化抓取电商、新闻、舆情等网站内容，用于市场分析、语义理解和知识图谱构建。

DataBridge Agent按规格档位采取包年包月的预付费方式收取费用。计费规格分为基础版和企业版两类，您可根据数据规模、连接器使用范围和加工模式按需选择。

说明

所有阿里云实名认证的用户均有一次免费试用包年包月模式 Small 规格 1 个月的权益。

类型	协议特征	典型数据源
基础	标准协议（S3 API、SMB或NFS、JDBC），AccessKey一次配置即可使用。	对象存储OSS、Amazon S3、Azure Blob、文件存储NAS、FTP、MySQL、PostgreSQL、网页等。
高级	私有API+OAuth 2.0+多级权限，需持续维护。	飞书、钉钉、企业微信、Confluence、SharePoint、Salesforce、Outlook、Gmail等。

您可以通过以下路径访问DataBridge Agent：

进入DataBridge Agent实例后，您可通过顶部导航栏访问概览、技能、频道、会话等功能页面，管理数据采集任务。具体使用方法参见DataBridge Agent快速入门。