数据集成概述
同时，数据集成支持用户自定义系统不支持的组件类型，以满足数据同步的需求。数据集成入口 快捷入口（推荐）在Dataphin首页，您也可以单击Dataphin产品使用路径的 数据引入，快速进入数据集成。普通入口 在Dataphin首页，单击顶部菜单栏的 ...
配置MySQL输入
使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将...
数据集成概述
同时，数据集成支持用户自定义系统不支持的组件类型，以满足数据同步的需求。数据集成入口 快捷入口（推荐）在Dataphin首页，您也可以单击Dataphin产品使用路径的 数据引入，快速进入数据集成。普通入口 在Dataphin首页，单击顶部菜单栏的 ...
Warm Up（冷启动）
对于长期处于低水位状态的系统，可以使用Warm Up（冷启动）功能来避免流量骤增导致水位瞬间升高系统不可用的情况。功能原理 Warm Up，即冷启动/预热的方式。当系统长期处于低水位的情况下，若流量突然增加，可能会把系统水位瞬间拉高把系统...
配置监控报警
说明 由于数据集成任务不涉及增量数据迁移，仅需配置 迁移状态 监控项。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据集成。在数据集成任务列表的顶部，选择目标数据集成任务所属地域。找到目标数据集成任务，单击对应的实例ID。...
手动更换可用区
例如当需要将备可用区更换为目标主可用区时，平均耗时为5分钟/节点，若集群中有4个节点，是否意味着业务会有约20分钟的不可用时间？A：更换主可用区所需的时间不等于业务不可用时间。整个切换过程中，仅在主备切换时会出现1~2次约30秒的闪...
CreateDIJob
当目标端为已有表：数据集成系统不会修改目标端表结构，如果指定的主键列不在目标端的列集合中，任务启动会报错提示。当目标端为自动建表：数据集成系统会自动创建目标端表结构，表结构包含定义的主键列。当指定的主键列不在目标端的列集合...
配置RDS MySQL间的数据集成任务
本文以配置RDS MySQL间的数据集成任务为例，介绍数据集成任务的配置流程和注意事项。说明 新版DTS控制台暂不支持数据集成功能，您可以在数据管理DMS控制台配置离线集成任务，详情请参见 离线集成概述。支持全量数据迁移的数据源均支持数据...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
数据治理
表管理数据地图表结构未更新 新建表在数据地图找不到 数据集成搜不到新建的表 当前表业务逻辑变更如何通知下游？您可以通过 数据地图表详情 页的 血缘信息>影响分析 中批量以邮件方式告知下游相关责任人。哪些类型的Hive表支持在数据地图中...
MongoDB数据源
数据集成本身不支持数组类型，但MongoDB支持数组类型，并且数组类型具有强大的索引功能。您可以通过参数的特殊配置，将字符串转换为MongoDB中的数组。转换类型后，即可并行写入MongoDB。自建MongonDB数据库不支持公网访问，仅支持阿里云...
产品架构
系统架构 DTS系统架构特性说明 系统高可用 数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。数据源地址动态适配 对于数据订阅及同步链路...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
功能更新动态（2022年之前）
2020年11月17日 华北2（北京）新建离线数据源 2020年11月26日 华南1（深圳）2020年12月15日 华东2（上海）数据集成 新增自定义组件功能，支持用户自定义系统不支持的组件。其中，RDBMS数据库组件通过JDBC链接，非RDBMS数据库组件需要自行...
文档修订记录
Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。IoT数据源 2023年3月更新记录 时间 特性 类别 描述 ...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
产品概述
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
计费逻辑说明
调度费用 数据集成离线任务通过调度系统下发至对应资源组运行，会产生调度相关费用。说明 调度费用详情请参见 资源费用明细：任务调度。关于任务下发机制，详情请参见 DataWorks资源组概述。实时同步任务不收取离线调度实例费。同步解决...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
快速入门
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
集群版-单副本
数据节点故障之后，系统会在30秒内重新拉起一个Redis进程保证服务高可用，但是该节点的数据将会丢失掉。配置服务器（config server）采用双副本高可用架构，用于存储集群配置信息及分区策略。各组件的数量和配置由Redis实例的 规格 决定，...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
阶段二：数据安全防护措施及策略增强建设
及 通过数据集成任务将数据从生产同步至开发环境时的脱敏。说明 必须要先完成数据分级分类，才能针对已识别到的敏感数据进行脱敏。效果如下：详情请参见 数据脱敏能力概述。场景四：数据完整性与可用性专项治理 在整体数据链路的处理过程中...
产品优势
数据集成需要较大开发 数据集成需要较大开发 服务能力 可用性SLA 提供SLA保障，单集群99.9%，双集群高可用99.99%。无 无 运维成本 全托管，无需复杂的数据库运维投入。运维成本高 运维成本高 技术团队 由多名Apache社区PMC和Committer组成...
OSS数据离线同步至MaxCompute
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。新增MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源...
OSS数据离线同步至MaxCompute
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。新增MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源...
MaxCompute数据离线同步至ClickHouse
准备独享数据集成资源组并与ClickHouse网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和ClickHouse集群的 配置网络连通。如果您的独享数据集成资源组和ClickHouse属于同一地域，可使用同地域VPC内网联通独享资源组和...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
计费说明-全托管
500 4500 60C240G 85,000 5000 60C240G 93,500 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）其中：前200个数据集成任务不纳入统计，帮助您降低数据上云成本。仅统计已发布、周期...
产品优势
无优化，数据集成需要较大开发。MaxCompute 产品化集成，请参见 全量导出MaxCompute。数据集成需要较大开发。日志服务（SLS）请参见 LTS（原BDS）服务介绍，支持SLS数据到HBase的 日志服务（SLS）增量导入。数据集成需要较大开发。服务能力...
什么是数据传输服务DTS
迁移方案概览 数据迁移功能特性 通过DTS实现数据库的垂直拆分 数据集成 作为数据迁移功能的延伸，数据集成功能可以根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中，帮助您构建更加灵活的数据仓库（例如构建T+1的周期性...
数据加工过程卡点校验
如果该数据库表发生扩容或者迁移等，数据集成工具感知不到，可能导致数据抽取错漏，而一旦错漏，会影响下游所有依赖该表的应用，因此建议业务数据库也需要有库表变更通知。关注操作工具的人员。操作工具只是一种辅助手段，操作工具的人员才...
DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
- 产品推荐
- 这些文档可能帮助您