DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
RDS实时同步至Hologres
本文以GitHub公开事件数据为例，为您介绍使用Hologres+DataWorks数据集成构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例）的基本步骤，实现海量数据的实时分析。示例架构 其中：待处理数据：本实践使用GitHub公开事件作为...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
PostgreSQL数据源
parameter":{"datasource":"abc","column":["id","\"123Test\"",/添加转义符],"where":"","splitPk":"id","table":"public.wpw_test"},实时读 数据集成实时同步任务存在如下约束与限制：数据集成对 ADD COLUMN 进行了特别支持：约束：ADD ...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
MySQL整库实时同步至OSS数据湖
本文以MySQL实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择...
一键实时同步至Hologres
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 任务配置当天，先执行全量数据初始化的离线同步...
一键实时同步至DataHub
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 运行同步任务后，生成的离线同步任务将全量数据...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
DeployDISyncTask
取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。RegionId String 是 cn-zhangjiakou 地域信息，通常为服务所在的地域。例如，华东2（上海）为cn-shanghai，华北3（张家口）为cn-zhangjiakou。...
实时同步任务运维
疲劳度控制：为了避免短时间内产生大量报警，数据集成实时同步还支持疲劳度控制，即为DataWorks支持您设置当前规则在指定时间间隔内只发送一次报警信息。使用Logview查看任务运行信息 说明 该功能目前在灰度邀测中，如需使用，请进入 ...
TerminateDISyncInstance
下线数据集成实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
GenerateDISyncTaskConfigForCreating
DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，获取异步生成...
管理平台系统表和时序/快照表
您可以通过数据服务的离线数据存储功能，查看平台系统表、时序表和快照...实时数据集成（Flink）：产品属性时序表和产品事件表数据，可以集成到阿里云实时计算Flink中计算和分析，以帮助您实时分析和诊断设备的运行状况，实时检测运行故障等。
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
QueryDISyncTaskConfigProcessResult
调用...DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
实时数据集成（Flink版）
Flink全托管产品支持您自定义连接器后上传使用，物联网平台提供连接器 iot-source 的使用说明，请参见 实时数据集成的连接器。使用限制 限制项 说明 地域 华东2（上海）、华南1（深圳）、华北2（北京）、美国（弗吉尼亚）。物联网平台企业...
产品概述
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
实时消费Kafka数据
当您需要将Kafka数据写入 AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-订阅消息系统。...
实时同步字段格式
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
Kafka单表实时入湖OSS（HUDI）
本文以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。使用限制 Kafka的版本需要大于等于0.10.2小于等于2.2.0。本实践仅支持使用 独享数据集成资源组。准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，...
创建并管理数据源
周期计算任务 手动计算任务 周期数据集成任务 手动数据集成任务 实时数据集成任务 通过 批量操作 修改任务归属数据源，并重新提交、发布任务。数据服务API 高 导致相关任务调用失败。数据服务API（调用、发布等）数据服务编排 更换数据服务...
全增量同步任务常见问题
并进行至少一条数据的变更，同时切换数据集成实时同步开始点位到当前时间。实时任务，运行报错：com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error!pls check.you need(at least...
常见问题
并进行至少一条数据的变更，同时切换数据集成实时同步开始点位到当前时间。实时任务，运行报错：com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error!pls check.you need(at least...
常见问题
并进行至少一条数据的变更，同时切换数据集成实时同步开始点位到当前时间。实时任务，运行报错：com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error!pls check.you need(at least...
功能发布记录 2022年之前
对于Hive、kafka等数据源，有时是需要kerberos认证文件来进行访问的，数据集成支持了kerberos认证文件机制，可以自由上传数据源相关的认证文件，并在配置时使用，保证访问数据源的安全性。2021.3.16 全部地域。附录：配置Kerberos认证 ...
DataWorks各版本详解
不支持 不支持 不支持 支持 数据集成 实时同步 支持 支持 支持 支持 华东1（杭州）华东2（上海）华北2（北京）华北3（张家口）华南1（深圳）西南1（成都）华北2（北京金融云）离线同步 支持 支持 支持 支持 全部DataWorks部署地域 华东2...
通过操作审计查询行为事件日志
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
- 产品推荐
- 这些文档可能帮助您