数据集成 DI Agent

能力说明

DI Agent 支持通过自然语言创建和管理单表离线、单表实时、整库离线、整库实时四类同步任务。无需逐项填写数据源、字段映射、调度策略等表单配置，只需描述同步需求，Agent 即可完成从意图理解到发布上线的全流程。主要能力包括：

• 自然语言建任务：用一句话描述同步需求（如"把 RDS 订单库整库实时同步到 Hologres，按天分区"），Agent 自动完成数据源识别、Schema 探测、字段映射、资源组分配和调度策略配置。

• 意图理解与多轮对话：Agent 能理解模糊或不完整的需求描述，通过追问补全关键参数（如分区策略、增量条件），确保生成的任务配置准确可用。

• 任务全生命周期管理：支持通过对话完成任务的编辑、暂停、恢复、删除和重跑，覆盖任务从创建到下线的完整生命周期。

• 批量任务操作：支持一次对话同时创建或修改多个同步任务，适用于整库迁移、批量调整调度策略等规模化场景。

使用示例

以下示例演示如何通过对话创建一个同步任务：

1. 进入 DI Agent 对话界面。

2. 输入同步需求，例如："把 RDS 订单库整库实时同步到 Hologres，按天分区"。

3. Agent 自动探测源端 Schema，展示待同步表清单，确认后继续。

4. Agent 自动完成字段映射、资源组分配和调度策略配置。

5. 预览任务配置摘要，确认无误后发布上线。

6. 查看任务运行状态，验证数据已正常同步。

能力说明

DI Agent 支持将大模型推理能力作为 ETL 算子嵌入数据流水线，对 OSS 中的图片、视频、音频、文档等非结构化数据进行批量 AI 处理（识别、分类打标、转写、翻译、摘要、向量化等），处理结果直接写入 MaxCompute、Hologres 或 DLF 数据湖，让非结构化数据进入企业数据资产体系。主要能力包括：

• 自然语言定义处理逻辑：用自然语言描述处理意图（如"识别图片中的商品类别并输出标签"），Agent 自动生成对应的处理 Pipeline 配置。

• 三段式 Pipeline 编排：Agent 自动编排 Source → Transform（大模型推理）→ Sink 流水线，无需额外编写脚本或搭建推理服务。

• 结果直写数据仓库：处理结果直接写入 MaxCompute、Hologres 或 DLF 数据湖，无需额外搬运。

• 数据 Embedding：支持对处理后的数据进行向量化并写入 Hologres，便于后续 RAG 使用。

• 批量与周期运行：支持百万级文件的批量处理，可配置定时周期运行以持续增量处理新增数据。

使用示例

以下示例演示如何处理 OSS 中的商品图片并将结果写入 MaxCompute：

1. 进入 AI 数据处理功能入口。

2. 输入处理需求，例如："读取AWS S3 bucket 下的商品图片 → 调用大模型识别分类标签 → 结果写入 MySQL 表"。

3. Agent 自动编排三段式 Pipeline：Source（S3）→ Transform（大模型推理）→ Sink（MySQL）。

4. ChatDB 自动识别目标表，生成对应 SQL。

5. 查看返回的图表结果（折线图/柱状图等自动匹配）。

6. 若需要对特征工程数据库中的数据，进行Embedding向量化至Hologres中，以便做RAG使用。可以用自然语言定义Embedding："继续做Embedding → 调用大模型进行向量化 → 结果写入 Hologres 表"。

7. Agent 自动编排三段式 Pipeline：Source（MySQL）→ Transform（大模型向量化）→ Sink（Hologres）。

8. ChatDB 自动识别目标表，生成对应 SQL。

9. 查看返回的结果。

能力说明

收到同步任务告警后，可在 Agent 对话界面描述问题或粘贴告警信息，Agent 自动聚合任务日志、资源监控指标、源端数据库状态等多维度信息，定位根因并给出修复方案，将排障时长从小时级缩短到分钟级。每次诊断结果自动归档为知识库条目，下次同类问题直接匹配已有解法，不因人员轮换而从零排查。主要能力包括：

• 多维信息聚合：自动采集并关联任务日志、资源监控指标、源端数据库状态、网络带宽等多维度信息，在一个视图内呈现完整上下文。

• 根因定位：基于聚合信息自动分析故障根因（如 CU 不足、源端锁表、网络带宽瓶颈、配置错误等），给出明确结论。

• 修复方案推荐与一键执行：定位根因后给出可操作的修复建议（扩容资源组、重启实例、调整并发度等），确认后支持一键执行。

• 经验自动沉淀：每次诊断结果自动归档为知识库条目，下次同类问题直接匹配已有解法。

使用示例

1. 告警触发后，进入 Agent 对话界面，描述问题或粘贴告警信息。

2. Agent 自动聚合任务日志、资源监控指标、源端状态等多维信息。

3. Agent 输出根因分析报告（如：CU 不足导致消费速率低于生产速率）。

4. Agent 给出修复方案建议（如：扩容资源组 CU 配额或重启失败实例），确认后执行修复。

能力说明

DI Agent 支持按可配置周期主动扫描全量同步链路的运行状态，将运维模式从被动响应转为主动治理。巡检结果以结构化报表呈现，高风险任务按影响范围和紧急程度排列优先级，每项附带具体操作建议和预期收益评估。主要能力包括：

• 可配置巡检周期：支持每小时、每天、每周和仅手动四种巡检频率，适应不同业务对健康检查实时性的要求。

• 全量链路主动扫描：Agent 按周期自动扫描全量同步链路的运行状态，主动发现潜在风险，无需人工逐项检查。

• 结构化健康日报：巡检结果包含关键指标概览、异常任务清单和风险等级评估，运维团队可在 3 分钟内掌握整体健康状况。

• 优先级排列与操作建议：高风险任务按影响范围和紧急程度排列优先级，每项附带具体操作建议和预期收益评估。

使用示例

1. 进入智能巡检配置页面，选择巡检周期（每小时、每天或每周）。

2. 配置巡检范围（全量链路或指定项目空间/资源组）。

3. Agent 按周期自动执行巡检，生成结构化日报。

4. 查看日报中的关键指标概览和高风险任务清单，按优先级处理风险项。