路由同步

可以通过路由同步功能控制企业版转发路由器向网络实例传播网络实例连接关联的企业版转发路由器路由表中的路由。本文为您介绍路由同步的使用限制、路由同步机制以及如何开启和关闭路由同步功能。使用限制 仅企业版转发路由器支持路由同步...

场景:配置增量数据离线同步任务

离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据,配置过滤条件时,将只同步满足过滤条件的数据。同时,过滤条件可以结合调度参数使用,实现过滤条件随任务调度时间的动态变化,进而实现增量数据的同步。该...

RDS增量数据同步至MaxCompute

本文以同步业务RDS数据库的数据至MaxCompute为例,为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化,分为恒定的存量数据(通常是日志数据)和持续更新的数据(例如人员表中,人员的状态会发生...

RDS增量数据同步至MaxCompute

本文以同步业务RDS数据库的数据至MaxCompute为例,为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化,分为恒定的存量数据(通常是日志数据)和持续更新的数据(例如人员表中,人员的状态会发生...

阿里邮箱AD同步&认证

如只同步某根OU,不需要同步的对象请勿放置根OU下,或通过给OU的url打上nombx字符标记,AD user的WWWHomePage打上nombx字符标记,安全组的WWWHomePage打上nombx字符标记,OU下的通讯组都同步不支持单个不同步。3.同步只做新增、禁用、更新...

现代IM系统中的消息系统—架构

接收方会主动的向服务端拉取所有未同步消息,但接收方何时来同步以及会在哪些端来同步消息对服务端来说是未知的,所以要求服务端必须保存所有需要同步到接收方的消息,这是消息同步库的主要作用。对于新的同步设备,会有消息漫游的需求,这...

Dataphin 管道任务如何同步逻辑表数据

详细信息 管道任务的输入组件中,有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 https://help.aliyun.com/document_detail/161516.html 适用于 Dataphin 公有云

通过image-syncer工具迁移容器镜像

在Kubernetes集群迁移场景中,镜像仓库之间进行镜像迁移和同步是基本需求,image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题,将已有的容器镜像平滑的迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...

通过image-syncer工具迁移容器镜像

在Kubernetes集群迁移场景中,镜像仓库之间进行镜像迁移和同步是基本需求,image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题,将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...

数据同步简介

基本原理 类似于 MySQL 的 binlog 机制,数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog,当业务需要同步一个变更数据到指定的用户或设备时,业务调用数据同步接口,数据同步服务端会将业务需要同步的数据变更包装为一个 ...

离线同步任务调优

本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项,以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响,详情请参见:数据同步速度的影响...

离线同步能力说明

数据集成的离线同步功能为您提供数据读取(Reader)和写入插件(Writer),方便您通过定义来源与去向数据源,并结合DataWorks调度参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...

实时同步能力说明

DataWorks为您提供的实时数据同步功能,方便您使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务,您需要保存、...

数据库中的数据离线同步至Hologres

Hologres支持通过DataWorks平台将数据库中的数据离线同步至Hologres,进行高并发低延时的查询分析处理操作。本文将为您介绍使用DataWorks将各类数据库数据离线同步至Hologres的操作方法。前提条件 开通DataWorks,详情请参见 入门概述。...

数据迁移与同步FAQ

本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步?DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:...

数据集成概述

全增量同步任务简介 实际业务场景下,数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题,...

数据集成侧同步任务能力说明

DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务,包括实时数据同步、离线全量同步、离线增量同步同步场景,助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下,数据同步通常不能通过一个或多个简单...

将内网解析记录同步至自建DNS

本文介绍一种自动DNS同步解决方案,可以自动将客户在内DNS解析控制台配置的解析记录同步至自建IDC服务器上,并生成标准Zone文件,bind9可以加载生效。解决方案 解析记录管理:解析记录管理通过阿里云解析DNS控制台完成,内网DNS解析提供...

Dataphin 同步任务是否可以使用视图

概述 本文描述了Dataphin 同步任务是否可以使用视图。详细信息 Dataphin 同步任务可以使用视图。如图所示,创建好视图后,在配置页面可以检索到,Mysql、Orcal均支持。适用于 Dataphin 版本:v2.9.4-3

Oracle数据源

Oracle数据源为您提供读取和写入Oracle双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读(Oracle Reader)离线写(Oracle ...

Vertica数据源

Vertica是一款基于列存储的MPP架构的数据库,Vertica数据源为您提供读取和写入Vertica双向通道的功能,本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica,您需要确认...

数据导入与迁移

RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中,使用说明:开通 LTS服务。在BDS中添加HBase增强版集群关联,具体操作方法参见 添加HBase增强版数据。请参见 RDS全增量同步 完成配置。HBase迁移至HBase增强...

常见问题

通过云企业CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 说明 数据同步基于内网传输,可以保证更低的网络延时。功能特性差异 支持库表列三级对象名映射。支持过滤待迁移的数据。支持选择迁移的...

入仓解决方案

无公网IP:Port的数据库(通过数据库网关DG接入)通过云企业CEN接入的自建数据库 说明 数据同步基于内网传输,可以保证更低的网络延时。功能特性差异 支持库表列三级对象名映射。支持过滤待迁移的数据。支持选择同步的SQL操作类型,例如...

手工触发同步

概述 手动触发同步可以实现辅助DNS主动连接主DNS进行解析数据更新。注意:辅助DNS中的解析记录更新,一般是由主DNS发送NOTIFY来触发解析数据同步,或者是根据主DNS设置的刷新时间来触发解析数据同步(指时间到期则触发)。操作步骤 登录 ...

计费常见问题

本文汇总了数据传输服务DTS(Data Transmission Service)计费的常见问题。常见问题 Q:按量付费的计费方式下,...A:数据同步具备更多的高级特性,例如在线调整同步对象和MySQL双向同步,且数据同步基于内网传输,可以保证更低的网络延时。

手动触发同步

概述 手动触发同步可以实现辅助DNS主动连接主DNS进行解析数据更新。注意:辅助DNS中的解析记录更新,一般是由主DNS发送NOTIFY来触发解析数据同步,或者是根据主DNS设置的刷新时间来触发解析数据同步(指时间到期则触发)。操作步骤 登录 ...

数据集成侧同步任务配置

背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务,同步类型包括:整库离线同步(一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步)、一键实时同步(一次性全量同步,实时...

DB2数据源

增量数据同步的方式 DB2 Reader使用JDBC SELECT语句完成数据抽取工作,因此可以使用 SELECT…WHERE…进行增量数据抽取,方式如下:数据库在线应用写入数据库时,填充modify字段为更改时间戳,包括新增、更新、删除(逻辑删除)。...

MySQL数据源

MySQL数据源为您提供读取和写入MySQL的双向通道,本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写:支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x,兼容 Amazon RDS for MySQL、Azure MySQL。离...

AnalyticDB for MySQL 3.0数据源

AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能,本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...

MariaDB数据源

MariaDB数据源为您提供读取和写入MariaDB的双向通道,本文为您介绍DataWorks的MariaDB数据同步能力支持情况。支持的MariaDB版本 离线读写 支持MariaDB 5.5.x、MariaDB 10.0.x、MariaDB 10.1.x、MariaDB 10.2.x、MariaDB 10.3.x版本,且离线...

文件网关反向同步的使用场景及配置

文件网关支持反向同步功能,将OSS上的元数据同步回本地,您可以在云存储网关侧观察OSS上数据的变化。使用场景 当多台云存储网关实例共同访问一个OSS Bucket时,可以实现多实例数据共享。当您需要从OSS恢复数据到云存储网关时,反向同步功能...

实时同步数据库的数据至Hologres

PolarDB MySQL PolarDB MySQL 配置数据源(来源为PolarDB)配置数据源(来源为Oracle)配置数据源(来源为MySQL)配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案,包括实时数据同步、离线全量...

CREATE TABLE AS(CTAS)语句

通过CTAS语句,在实时同步数据的同时,还能实时将上游表结构(Schema)的变更同步到下游表,提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS(CTAS)的使用方法,并提供了多种使用场景下的示例。前提条件 ...

ClickHouse数据源

ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能,本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力,...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...

PolarDB数据源

PolarDB数据源为您提供读取和写入PolarDB双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。使用限制 离线读写 支持读取视图表。实时读 来源数据源为阿里云PolarDB MySQL时,您需要开启Binlog。阿里云PolarDB MySQL是一款完全...

SQL Server数据源

SQL Server数据源为您提供读取和写入SQL Server双向通道的功能,本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0,驱动能力具体请参见 官网...

数据同步操作指导

数据同步功能可以帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程,帮助您快速掌握创建、...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云企业网 共享流量包 负载均衡 高速通道 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用