企业在进行大模型训练或数据分析时,常需整合来自数据库、网页、文档等多种来源的数据。然而,数据格式复杂、质量不一、缺乏统一的采集工具,导致数据接入和处理效率低下。阿里云数据传输服务DTS推出的DataBridge Agent旨在解决这一难题。它是一款多源数据采集与解析工具,能将不同来源的异构数据高效采集、解析并转换为统一的结构化格式,为AI模型训练、数据分析等下游应用提供高质量的数据输入。
DataBridge Agent将于北京时间2026年08月01日00:00:00起正式商业化,按规格档位收取使用费用。具体计费规格请参见下方费用说明。
功能简介
DataBridge Agent是阿里云DTS推出的一款多源数据采集与解析工具。它整合了DTS在数据库、网页、文档等领域的核心数据采集与解析能力,并结合了DTS链路传输及智能运维能力,旨在帮助您一站式地高效获取并标准化各类异构数据。
该工具的核心理念是将复杂的数据处理流程封装为一个独立的Agent,实现多种数据源的统一接入、一次解析输出为标准格式,并能服务于多个下游系统,从而打通企业内部的数据链路。
优势
支持广泛的数据源
无需为不同数据源开发独立的适配逻辑,通过统一的Agent即可接入,显著降低开发和维护成本。
数据类型 | 支持范围 |
数据库 | 支持主流关系型与分析型数据库,如:
|
非结构化文档 | PDF、Word、Excel、PPT、Markdown 等,内置OCR能力,可解析图片或扫描件中的文本与表格。 |
网页内容 | 支持通过提取HTML页面结构或模拟API请求等方式,精准抓取网页数据。 |
强大的自动解析与结构化能力
内置丰富的数据解析引擎,可自动识别并提取数据中的字段、表头及层级关系,并支持您通过自定义规则进行数据映射,以满足特定业务需求。原始数据可被一键转换为JSON、CSV、Parquet等通用结构化格式,直接用于后续的大模型训练或数据分析。
与AI生态无缝集成
可作为大模型的数据预处理工具,提供干净、格式统一的训练数据。
能够适配各类Agent工作流(如RAG),为其提供实时、精准的外部数据。
提供标准的API调用方式,便于集成至企业现有的AI系统或自动化平台。
适用场景
场景类型 | 应用说明 |
大模型训练数据准备 | 快速采集并结构化处理海量多源数据,为大语言模型(LLM)提供高质量的训练语料。 |
Agent工作流数据输入 | 为RAG(检索增强生成)、流程Agent等提供精准、实时的外部数据支撑,提升AI应用的准确性和时效性。 |
跨云/混合云数据整合 | 从本地数据中心、私有云、其他公有云等多源系统中统一抽取、整合数据。 |
文档自动化处理 | 批量将PDF、Excel等格式的业务文档解析为结构化数据,用于BI分析、报表生成或数据归档。 |
网页信息采集 | 结构化抓取电商、新闻、舆情等网站内容,用于市场分析、语义理解和知识图谱构建。 |
数据治理与清洗 | 作为ETL流程的前置环节,对原始数据进行标准化处理,提升入库数据的质量与一致性。 |
费用说明
DataBridge Agent按规格档位采取包年包月的预付费方式收取费用。计费规格分为基础版和企业版两类,您可根据数据规模、连接器使用范围和加工模式按需选择。
计费规格
类别 | 基础版 | 企业版 | |||
规格 | small | medium | large | standard | pro |
月费(元) | 2,000 | 4,000 | 10,000 | 100,000 | 500,000 |
连接器类型 | 仅基础 | 仅基础 | 基础+高级 | 基础+高级 | 基础+高级 |
连接器上限 | 1个 | 3个 | 3个 | 10个 | 30个 |
Token上限 | 4亿 | 9亿 | 25亿 | 300亿 | 1500亿 |
加工模式 | 固定pipeline | 固定pipeline | 固定pipeline | AI Mission动态编排 | AI Mission动态编排 |
高级链路开发助手 | — | — | — | 可选附加(50,000元/月或100,000元/月) | 可选附加(50,000元/月或100,000元/月) |
适用场景 | 概念验证(PoC)与方案评估 | 初创与微小企业 | 中型企业 | 大型企业 | 跨国集团与头部企业 |
连接器类型说明
类型 | 协议特征 | 典型数据源 |
基础 | 标准协议(S3 API、SMB或NFS、JDBC),AccessKey一次配置即可使用。 | 对象存储OSS、Amazon S3、Azure Blob、文件存储NAS、FTP、MySQL、PostgreSQL、网页等。 |
高级 | 私有API+OAuth 2.0+多级权限,需持续维护。 | 飞书、钉钉、企业微信、Confluence、SharePoint、Salesforce、Outlook、Gmail等。 |