数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
项目数据同步和API接口
项目数据同步原理 数据同步可通过HTTP/2或AMQP（推荐使用）推送方式，原理图如下。说明 平台不再提供开启HTTP方式同步数据，统一通过HTTP/2方式或AMQP方式（推荐使用）同步设备数据和用户数据。当前已使用HTTP方式推送的客户不受影响，可...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
时序分析存储概述
分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果业务压力过大，分析存储会优先保证存储稳定性，同步延迟会略微增加。功能特性 分析存储支持的功能特性说明请参见下表。功能特性 说明 ...
数据转发到表格存储（Tablestore）时序模型
工作原理 云产品流转将设备的Topic消息转发到表格存储实例中的数据表中存储，使用表格存储的宽表引擎服务。在上图中：数据源：支持的Topic类型消息，请参见 数据格式（非云网关产品和设备）、自定义Topic（MQTT云网关）、消息转发Topic（GB...
创建分析存储
设置分析存储同步时序表中数据的方式。analyticalStore.setSyncOption(AnalyticalStoreSyncType.SYNC_TYPE_INCR);设置时序表名称。CreateTimeseriesAnalyticalStoreRequest request=new CreateTimeseriesAnalyticalStoreRequest("test_...
创建分析存储
analyticalStore.SetTimeToLive(2592000)/设置分析存储同步时序表中数据的方式。analyticalStore.SetSyncOption(tablestore.SYNC_TYPE_INCR)/设置时序表名称。request:=tablestore.NewCreateTimeseriesAnalyticalStoreRequest("test_...
功能概览
本文介绍 云备份 的数据同步功能概览，包括数据同步的简介、工作原理、操作流程和费用等。简介 数据同步功能是阿里云 云备份 提供的一项在线数据同步服务，便于将源端数据（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储...
Dataphin 管道任务如何同步逻辑表数据
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 ...
通过控制台使用分析存储
在创建时序表时创建的分析存储会自动同步时序表中的全量数据。如果需要创建默认分析存储，直接单击 确定 即可。默认分析存储的名称默认为default_analytical_store，生命周期默认为-1。如果要创建自定义分析存储，请打开 高级选项 开关并...
基础数据操作
写入时序数据到时序表时，如果为时序表创建了分析存储，则分析存储会自动同步时序表中的数据。说明 关于分析存储的更多信息，请参见 时序分析存储概述。管理时间线元数据 写入时序数据前，您可以预先定义时间线。如果未预先新建时间线...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
同步增量数据到OSS
如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步时序表数据的任务配置 进行配置。同步数据表数据的任务配置 在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。...
导出全量数据到OSS
如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步时序表数据的任务配置 进行配置。同步数据表数据的任务配置 在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。...
通过SDK使用分析存储
设置分析存储同步时序表中数据的方式。analyticalStore.setSyncOption(AnalyticalStoreSyncType.SYNC_TYPE_INCR);设置时序表名称。CreateTimeseriesAnalyticalStoreRequest request=new CreateTimeseriesAnalyticalStoreRequest("test_...
概述
阿里云物联网平台提供的RRPC功能，是基于MQTT协议的一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。本文介绍通过配置C Link SDK，实现设备端接收同步消息，并处理和应答下发对设备的控制指令。前提条件 已准备开发环境。已...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
功能发布记录
同步时序表的时序数据。使用SQL查询分析时序分析存储中的数据。2023-12-20 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）时序分析存储概述 时序模型限制 时序模型计量计费 使用分析存储 使用SQL查询数据 Instance Policy ...
工作原理
具体工作原理如下图所示。功能特性 日志服务的智能巡检功能的特性如下表所示。特性 说明 配置监控对象 对于标准时序格式的数据，可以直接配置消费组发起任务。对于非数值化的日志数据，可以设置SQL语句或查询分析语句，转化成监控指标，...
验证码和风险识别联合部署方案
说明 本文以 工作原理 中的评分区间及对应的处置建议为例。您可以根据实际业务情况，自行配置处置方案。工作原理 流程时序图 流程时序图说明：用户注册、登录网站，参加营销活动。应用客户端收到用户请求后，发送业务信息到应用服务端。...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
配置启动页
基于 mPaaS 框架（关于 mPaaS 框架的详细介绍，参见 mPaaS 框架介绍）下，启动页的时序和原理如下：框架启动时会创建 bootloader，管理应用的主 window。展示启动页时，框架会自动完成 window 的切换，并将创建的启动页 window 返回给用户...
智能导购设置
客户标签管理 同步逻辑 系统初始化时 导购后台选择导购可见的标签组及标签并同步到企业微信。企业导购可在企业微信app端查看这些标签组及标签，以及客户标签关系；同步的标签组如果在管理后台有任何的改动（增删组内标签、修改标签组/标签...
预检规则的定义与运行原理
本文为您介绍预检规则的定义、运行原理和集成过程。什么是预检规则 规则的本质是一段判断逻辑，判断资源的某一个配置项是否合规。关于规则的更多信息，请参见 规则的定义及运行原理。预检规则和规则模板的检测逻辑一样，核心要素为资源配置...
概述
如下功能时序图，以设备的应用程序.demos/ntp_posix_demo.c 为例，介绍应用程序实现该功能的流程。NTP服务功能API的详细信息，请参见 aiot_ntp_api.h。使用示例 NTP服务 功能的参考示例，请参见 使用示例。NTP服务 功能相关错误码，请参见 ...
功能特性
MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步 RDS PostgreSQL间的双向同步 云数据库MongoDB版间的双向同步 云原生内存数据库Tair间的双向同步 一键调转正反向同步 支持将双向同步实例的方向进行调转。...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
数据库实时入仓快速入门
操作原理与Demo演示 Flink CDC如何增强和简化实时数据入仓 MySQL实时同步至Hologres 背景信息 假设MySQL实例中有一个tpc_ds库，里面有24张表结构不相同的业务表。另外还有user_db1~user_db3三个库，由于进行了分库分表的设计，每个库中分别...
如何实现OAuth登录
一个简单的OAuth 2.0时序图的交互流程如下图所示：在这个时序图中，ResourceOwner向Client发送请求，Client将请求发送给AuthorizationServer，AuthorizationServer引导ResourceOwner进行身份验证，然后发放访问令牌给Client。Client使用...
- 产品推荐
- 这些文档可能帮助您