在EMR上使用Sqoop与数据库同步数据时的网络配置
云数据库RDS Sqoop是用map任务同步数据，可以在任意节点上运行，而Sqoop任务需要配置连接RDS的内网地址来连接，所以，需要确保EMR集群的内网IP在RDS白名单里。EMR集群和RDS需要在同一个VPC网络内，以便于可以直接访问RDS地址。如果在不同的...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
文件网关反向同步的使用场景及配置
使用场景 当多台云存储网关实例共同访问一个OSS Bucket时，可以实现多实例数据共享。当您需要从OSS恢复数据到云存储网关时，反向同步功能可以满足您的数据恢复和容灾需求。说明 默认的反向同步时间间隔是900s。反向同步基于扫描机制去发现...
DTS同一账号或跨账号迁移、同步时，对于ECS、RDS实例...
如果是进行跨地区的迁移，那么DTS会使用外网连接源实例（ECS、RDS），使用内网连接目标RDS实例。同步任务：使用内网。流量费用 迁移任务：收取公网出云流量费用，其他类型的DTS实例均不收取流量费用。公网出云流量费用，是指目标数据库实例...
数据同步方案概览
数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL集群间的单向同步 PolarDB MySQL集群间的双向同步 PolarDB 与其它数据库的数据同步 RDS MySQL同步至PolarDB MySQL集群 PolarDB MySQL同步至RDS MySQL 从PolarDB MySQL同步至...
数据同步操作指导
本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、监控、管理数据同步任务的操作。背景知识 同步方案概览 介绍数据同步功能支持的数据库、同步初始化类型和同步拓扑，以及配置步骤。结构初始化涉及的数据类型映射关系 由于不同的...
一键实时同步至DataHub
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
一键实时同步至AnalyticDB for MySQL 3.0
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。步骤七：执行同步任务 进入 数据集成>同步任务 ...
一键实时同步至Hologres
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
配置RAM用户同步
步骤一：配置RAM用户同步 使用RD管理账号在云SSO中配置RAM用户同步。登录 云SSO控制台。在左侧导航栏，单击 多账号权限管理。在 多账号权限管理 页面，选择目标RD账号。本示例中，选择RD成员（Sandbox Account）。单击 配置RAM用户同步。在...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
方案概述
同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用 RENAME 命令重建了待同步的表，您需要在对该表写入数据前执行 ALTER TABLE schema.table REPLICA IDENTITY FULL;命令，以保障该表数据同步的一致性。执行...
GetDIJob
ResourceGroupIdentifier String S_res_group_111_222 离线同步使用的数据集成资源组标识。RealtimeResourceSettings Object 实时同步资源。ResourceGroupIdentifier String S_res_group_111_222 实时同步使用的数据集成资源组标识。...
账户同步接入概述
IDaaS 暂不支持同步用公私钥轮转，同步公私钥信息不会变化。payload iss payload String 固定值：urn:alibaba:idaas:app:event 代表是由 IDaaS 发起的事件订阅通知。sub payload String 客户的 IDaaS 实例ID aud payload String 客户的 ...
PolarDB PostgreSQL版间的同步
不支持同步使用 SET session_replication_role=replica 命令的会话中的DDL。若源库单次提交的多条SQL中同时包含DML和DDL，则该DDL不会被同步。若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的...
PolarDB PostgreSQL版同步至RDS PostgreSQL
不支持同步使用 SET session_replication_role=replica 命令的会话中的DDL。若源库单次提交的多条SQL中同时包含DML和DDL，则该DDL不会被同步。若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的...
配置资源组与网络连通
无法保障公网环境下的数据同步速度和任务稳定性，建议通过内网或者 云企业网 同步。背景信息 复杂网络环境下的数据源进行异构数据源间的数据同步，可选择使用 独享数据集成资源组，需要先进行网络打通。如上图所示，进行数据同步前，需通过...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
若使用列映射时为非全表同步或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的同步架构 一对一单向...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
PolarDB PostgreSQL版间的迁移
不支持同步使用 SET session_replication_role=replica 命令的会话中的DDL。若源库单次提交的多条SQL中同时包含DML和DDL，则该DDL不会被同步。若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。配置步骤 登录 新版DTS...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
使用说明 部分数据源不支持使用向导模式配置离线同步任务，您可以选择数据源后，根据界面提示，若当前数据源不支持向导模式编辑任务，则单击工具栏中的 图标切换至脚本模式继续配置任务。详情请参见 通过脚本模式配置离线同步任务。向导...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
导出全量数据到MaxCompute
如果需要使用MaxCompute备份 表格存储 数据或者迁移 表格存储 数据到MaxCompute中使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到MaxCompute后，您可以使用DataWorks数据分析功能查看...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
离线同步写入MongoDB数据
step3：提交发布离线同步节点 如果您使用的是标准模式的DataWorks工作空间，并且希望后续在生产环境中周期性调度此离线同步任务的话，您可以将离线同步节点提交发布到生产环境。操作详情请参见 发布任务。step4：运行离线同步节点，查看...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
查看网络实例连接
在 云企业网实例 页面，找到目标云企业网实例，单击目标实例ID。在 基本信息>转发路由器 页签，找到目标地域的转发路由器实例，单击转发路由器实例ID。在转发路由器实例详情页面的 地域内连接管理 页签，查看网络实例连接信息。表 1.企业版...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
离线同步读取MongoDB数据
step3：提交发布离线同步节点 如果您使用的是标准模式的DataWorks工作空间，并且希望后续在生产环境中周期性调度此离线同步任务的话，您可以将离线同步节点提交发布到生产环境。操作详情请参见 发布任务。step4：运行离线同步节点，查看...
- 产品推荐
- 这些文档可能帮助您