RDS MariaDB迁移至RDS PostgreSQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB-X 2.0迁移至DataHub
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
RDS MariaDB同步至RDS PoatgreSQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB-X 2.0间的迁移
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW同步至PolarDB-X 2.0
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW迁移至RDS MySQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW同步至RDS MySQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW同步至自建Kafka集群
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
Db2 for LUW迁移至阿里云消息队列Kafka版
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB-X 2.0迁移至Elasticsearch
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB MySQL版同步至RDS MySQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB MySQL版同步至RDS MySQL
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
API概览
实例管理 API 标题 API概述 AddInstance 录入数据库实例 调用该API可以实现将您的数据库实例录入至DMS中，同时，可以为实例开启安全托管能力。ModifyInstance 修改实例信息 当您需要修改实例的托管模式、数据库账密、功能包等基本信息，及...
Quick BI如何实现数据录入
1.首先需要新建数据填报，添加对应的输入框，这里的输入框相当于我们数据录入的字段，点击保存后，会弹出我们要录入数据的表的信息，可以自定义去编辑，完成配置以后，点击保存。2.弹出保存成功以后，然后退出界面。在数据填报界面点击管理...
数据连接管理
数据传输服务DTS（Data Transmission Service）支持录入数据库信息。在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
同步字典
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
导入数据至电子表格
在电子表格的编辑页面，您可以直接录入数据，也可以从其他数据源导入数据，或将本地数据导入电子表格，以便为后续数据分析做好准备。本文将为您介绍如何将数据导入电子表格。前提条件 已创建一个空白的电子表格，详情请参见 创建电子表格。...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
需求阶段
迭代需求流程包括以下步骤：申请需求变更 数据产品经理完成业务方迭代需求对接后，将新的需求录入 数据仓库需求模板 的迭代需求申请单中。说明 如果企业具备需求相关管理平台，建议通过平台+数据库形式规范化存储不断迭代的每个需求版本。...
PluginType参数说明
结构设计 NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 ...
批量数据合并
本文为您介绍批量数据合并组件。功能说明 批量数据合并组件是将两个输入的数据按照指定的索引进行合并。计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会...
表设计规范
在表设计阶段，需要特别注意区分数据的场景（批量数据写入、流式数据写入、周期性条式数据插入）。合理使用非分区表和分区表。建议采用分区表来设计日志表、事实表和原始采集表等，并按照时间进行分区。注意表和分区的限制条件。表数据存储...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
DMS调度XIHE SQL
若之前已登录过 AnalyticDB MySQL版 集群数据库且集群管控模式为 自由操作 或 稳定变更，但在录入数据库登录信息时未选中 记住密码，进入DMS控制台后，需要先在弹出的对话框中输入目标数据库账号的密码才可进行后续操作。关于管控模式的更...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
PolarDB MySQL版迁移至自建Oracle
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
PolarDB MySQL版同步至Elasticsearch
说明 在DMS控制台，您可以单击 新建连接模板 录入数据库实例。更多信息，请参见 云数据库录入 和 他云/自建数据库录入。在DTS控制台，您可以在 数据连接管理 页面或新版配置页面，将数据库录入DTS。更多信息，请参见 数据连接管理。数据库...
MaxCompute数据离线同步至ClickHouse
批量数据计入脏数据：如果想要保证任务运行完成并可接受批量数据丢弃，可选择将批量数据计入脏数据，通过脏数据允许条数控制任务是否退出。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名...
SQL处理优化
数据操作DML 数据批量写入以及数据批量修改，都可通过SQL DML执行。SQL引擎对于操作Transactional Table 2.0的DML语法也是做了专门的改造开发，包括特定语法的解析，特定算子的Planner优化，针对pk列的去重逻辑，以及runtime构造Upsert格式...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
表设计最佳实践
采集源表的设计 数据采集方式包括流式数据写入、批量数据写入和周期调度条式数据插入。数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，...
功能特性
查询实例操作日志 数据连接管理 支持录入数据库信息，在配置任务时可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需再手动输入。数据连接管理 OpenAPI POP接口 支持在OpenAPI门户调用接口进行调试。使用OpenAPI SDK 支持使用SDK...
创建物化视图的跨机并行加速和批量写入
PolarDB PostgreSQL版 对上述两个步骤分别引入了ePQ并行扫描和批量数据写入的优化。当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
Tunnel SDK常见问题
如何使用TunnelBufferedWriter规避使用Tunnel SDK进行批量数据上传出错的问题？Tunnel SDK Download 使用Tunnel SDK下载数据时，报错You need to specify a partitionspec along with the specified table，如何解决？其他问题 BlockId是否...
- 产品推荐
- 这些文档可能帮助您