数据采集（DataBridge Agent）
DataBridge Agent是AI原生数据库服务提供的多源数据采集与解析工具，能够将数据库、非结构化文档、网页等多种来源的异构数据统一采集、解析并转换为标准结构化格式，为AI模型训练、RAG工作流、数据分析等下游应用提供高质量的数据输入。
什么是DataBridge Agent
企业在进行大模型训练或数据分析时，通常需要整合来自数据库、网页、文档等多种来源的数据。然而，数据格式复杂、质量参差不齐，且缺乏统一的采集工具，导致数据接入和处理效率低下。
DataBridge Agent基于阿里云数据库工具的核心数据采集与解析能力，将复杂的数据处理流程封装为独立的Agent，实现多种数据源的统一接入。您只需一次配置，即可将原始数据解析输出为JSON、CSV、Parquet等标准格式，服务于多个下游系统，打通企业内部的数据链路。
核心能力
DataBridge Agent提供以下三大核心能力：
多模态数据准备与检索：支持从数据库、非结构化文档、网页等多种数据源采集数据，内置OCR与智能解析引擎，自动识别并提取字段、表头及层级关系，一键转换为标准结构化格式。
数据探索与分析：对采集到的数据进行自动分析和质量评估，帮助您快速了解数据分布、发现异常值，为下游AI应用提供经过验证的高质量数据。
链路操作与运维：通过控制台提供可视化的任务管理和监控能力，支持任务调度、运行状态监控和异常告警，保障数据采集链路的稳定运行。
支持的数据源
DataBridge Agent支持以下类型的数据源：
数据类型 | 支持范围 |
数据库 | 支持主流关系型与分析型数据库，包括：
|
非结构化文档 | PDF、Word、Excel、PPT、Markdown等，内置OCR能力，可解析图片或扫描件中的文本与表格。 |
网页内容 | 支持通过提取HTML页面结构或模拟API请求等方式，精准抓取网页数据。 |
输出格式
DataBridge Agent支持将采集到的原始数据转换为以下标准格式，可直接用于大模型训练或数据分析：
JSON：适用于API对接和灵活的数据交换场景。
CSV：适用于表格数据分析和批量导入场景。
Parquet：适用于大数据分析和高效列式存储场景。
适用场景
场景类型 | 应用说明 |
大模型训练数据准备 | 快速采集并结构化处理海量多源数据，为大语言模型（LLM）提供高质量的训练语料。 |
Agent工作流数据输入 | 为RAG（检索增强生成）、流程Agent等提供精准、实时的外部数据支撑，提升AI应用的准确性和时效性。 |
跨云/混合云数据整合 | 从本地数据中心、私有云、其他公有云等多源系统中统一抽取、整合数据。 |
文档自动化处理 | 批量将PDF、Excel等格式的业务文档解析为结构化数据，用于BI分析、报表生成或数据归档。 |
网页信息采集 | 结构化抓取电商、新闻、舆情等网站内容，用于市场分析、语义理解和知识图谱构建。 |
费用说明
DataBridge Agent目前处于邀测阶段，您可免费使用全部功能。如需申请试用，请使用阿里云账号（主账号）填写邀测申请表单。
访问方式
您可以通过以下路径访问DataBridge Agent：
登录AI原生数据库服务控制台。
在左侧导航栏，选择数据采集。