创建同步ElasticSearch
这里可以看到同步任务的点位和同步时间发生了变化，同步时间就是刚刚数据写入DataHub的时间，同步点位变成了1（点位从0开始计算，点位为0表示第一条数据已经写入）。然后在ES查看一下数据的同步情况，通过Kibana可以看到数据已经同步成功。
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
仓库同步
仓库同步过程中将不支持写入，请合理安排同步时间，特别是针对网络条件不佳或超大仓库的同步时，可能存在较长等待时间，你可以切换页面，同步完成后将向操作人发送邮件通知。说明 仓库同步超时时间为 10 分钟，超时将同步失败，可能提示...
利用DataWorks将数据迁移到TSDB
其中必填的参数只有 5 个，包括 OpenTSDB 的地址（endpoint）、需要同步的 metric（column）和同步的时间范围（beginDateTime&endDateTime），以及 TSDB 的地址（endpoint）。例如：{"type":"job","steps":[{"stepType":"opentsdb",...
ClickHouse数据源
是 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize值过大会造成数据同步进程OOM，需要根据ClickHouse负载情况递增。否 1,...
实例迁移操作步骤
在 迁移详情 页面，查看任务信息，包括迁移产品的ProductKey、迁移状态、迁移设备总数、目标实例ID、创建时间、数据同步开始时间和已选中的待迁移设备列表。您可选择指定迁移状态（未迁移、已迁移、迁移失败）或搜索指定设备，查看设备迁移...
AnalyticalStoreSyncStat
最新同步时间。} 名称 类型 描述 sync_phase AnalyticalStoreSyncType 最新同步状态。取值范围如下：SYNC_TYPE_FULL：全量同步状态。SYNC_TYPE_INCR：增量同步状态。current_sync_timestamp int64 最新同步数据的时间戳。单位为秒。相关...
快速入门
重要 钉邮绑定和同步需要先将解析切换至阿里，如果需要邮件迁移，建议先在邮箱管理后台创建账号，邮件迁移完成解析切换后再进行钉邮绑定和同步。Step4：邮件迁移 1、Imap协议迁移（推荐）：请参考 邮箱搬家。注：如果不需要进行邮件迁移，...
数据迁移和同步方案概览
云数据库ClickHouse提供了多种数据迁移和同步方案，可满足不同业务场景下数据库的数据迁移和同步需求。使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
账户同步-应用同步给 IDaaS
企业可能希望使用应用作为账号管理源，并将信息即时同步给 IDaaS。 具体支持方式请参考：账户/组织同步。IDaaS 对企业的应用开发者开放 API 供调用，以实现账户/组织信息的导入和同步，详情请参考 应用 API 开放。
查看RAM用户同步详情
本文为您介绍如何查看RAM用户同步详情，包含RAM用户同步基本信息和同步进展。操作步骤 登录 云SSO控制台。在左侧导航栏，选择 RAM用户同步>RAM用户同步管理。在 RAM用户同步管理 页面，单击目标RAM用户同步 操作 列的 查看。在 RAM用户同步...
数据同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
数据大屏
权限管理员可以为数据大屏资源授予编辑和查看数据大屏的权限。背景信息 权限管理员授予用户权限时，在协同状态和私密状态下的权限属性有所不同，见下图。其中，协同权限之间存在以下关系：编辑权限：当用户拥有 编辑 权限时，支持编辑和...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
数据源
权限管理员支持将某工作空间下的数据源资源授予多名开发者编辑数据源和使用数据源的权限。背景信息 权限管理员授予开发者权限时，在协同状态和私密状态下的权限属性有所不同，见下图。其中，不同权限属性存在以下联系：编辑权限：当开发者...
电子表格
说明 同步模式 支持 增量同步 和 覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予电子表格导出和查看权限 本例中，给访问者B分配 跨区块...
数据门户
说明 同步模式支持增量同步和覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。同步规则"无权限用户隐藏菜单入口"不可同步。场景二：授予数据门户菜单...
仪表板
说明 同步模式 支持 增量同步 和 覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予仪表板中组件的导出和查看权限 权限管理员支持授予访问者...
即席分析
说明 同步模式 支持 增量同步 和 覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予即席分析的导出和查看权限 私密状态下，权限管理员支持...
同步或迁移源库中的触发器
当您在同步或迁移数据时包含了触发器（Trigger），且同步或迁移对象依赖的触发器会更新某个表时，可能会因为目标库过早同步或迁移触发器，而导致源和目标库的数据不一致。本文介绍如何同步或迁移触发器，避免数据不一致的问题。前提条件 ...
自助取数
说明 同步模式 支持 增量同步 和 覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予自助取数的导出和查看权限 私密状态下，权限管理员支持...
数据集
权限管理员可以为数据集资源授予多名开发者编辑数据集的权限和使用数据集的权限。背景信息 权限管理员授予开发者权限时，在协同状态和私密状态下的权限属性有所不同，见下图。其中，协同权限之间存在以下关系：编辑权限：当开发者拥有编辑...
数据填报
说明 同步模式 支持 增量同步 和 覆盖同步。增量同步：不影响被同步资源原有的权限，只新增其缺少的权限。覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予提交和管理数据的权限 私密状态下，权限管理员支持授予...
同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
消息路由
本文将引导您快速创建并管理消息路由任务，实现单元化部署环境下跨单元消息路由和同步。说明 该功能仅适用于支持 LDC 单元化架构的环境。创建路由任务 您可以登录消息队列控制台，根据业务需求创建跨地域的消息同步任务。操作步骤如下：...
管理时间同步服务
sudo ntpq-p 返回信息示例如下：查看时间同步服务器地址确认是否需要修改 请根据您的ECS实例中使用的时间同步服务，执行相应的命令查看配置的时间同步服务器。如果您的业务要求配置指定的时间同步服务器，可以参考 配置NTP服务器地址。...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
DeployDISyncTask
发布实时同步任务和同步解决方案任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
2022年
本章节介绍了2022年数据传输服务DTS（Data Transmission Service）产品功能和对应的文档动态。更多新功能介绍 详情请参见 数据传输服务产品动态。2022年11月 类型 重点内容 相关文档 新增 实例支持体验3次规格升级。体验实例规格升级 2022...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
支持的数据源及同步方案
支持的数据源及同步方案 数据集成包括离线同步、实时同步和全增量同步任务三个功能模块，您可以根据各模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）...
使用MaxCompute独享Tunnel进行数据同步
为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项 若在配置MaxCompute数据源时配置了 ...
数据同步模版
Flink CDC支持数据的实时同步和表结构变更的自动同步。您可以使用数据同步模版帮您快速生成数据同步的Flink SQL作业代码。本文为您介绍如何使用多库多表同步或者分库分表合并模版实现数据同步。背景信息 Flink全托管支持多库多表同步和分库...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
API概览
将DTS同步实例的同步拓扑从单向同步升级为双向同步。修改DTS产品的付费方式或实例规格。升级或降级DTS实例规格。为DTS实例续费，仅适用于预付费类型的DTS实例。ResetDtsJob 重置一个数据迁移、同步或订阅任务。SuspendDtsJob 暂停一个数据...
- 产品推荐
- 这些文档可能帮助您