Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
从自建Redis迁移至MyBase Redis
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输服务DTS...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 同步至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 云原生数据仓库AnalyticDB PostgreSQL版 实例，创建方式请参见 创建实例。若源库数据需要全量同步，...
从Amazon RDS SQL Server全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
基于Tair Vector实现图文多模态检索
您可以先通过 CLIP模型 将图片、文档等数据预处理，然后将CLIP的预处理结果存入Tair中，根据Vector提供的近邻检索功能，实现高效的图文多模态检索。更多关于Tair Vector的信息，请参见 Vector。方案概述 下载图片数据。本示例使用的测试...
从Amazon RDS for PostgreSQL全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
云数据库MongoDB版（副本集架构）间的双向同步
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合，则通过该检查项目；如果目标数据库中有同名的集合，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中...
云数据库MongoDB版（副本集架构）间的双向同步
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合，则通过该检查项目；如果目标数据库中有同名的集合，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
云数据库MongoDB版（副本集架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（副本集架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库MongoDB...
计费常见问题
本文为您介绍MaxCompute计费的常见问题。问题类别 常见问题 计费方式 MaxCompute如何计费？如果按月购买MaxCompute还会额外收取费用吗？购买MaxCompute后未执行操作，是否会产生费用？存储费用 MaxCompute会存储三个副本，如何计费？已删除...
RDS MariaDB实例间的同步
数据传输服务DTS（Data Transmission Service）支持 RDS MariaDB 实例间的数据同步。前提条件 已创建目标 RDS MariaDB 实例，创建方式，请参见 快速创建RDS MariaDB实例。目标 RDS MariaDB 实例的存储空间须大于源 RDS MariaDB 实例占用的...
云数据库Redis间的单向同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。前提条件 已创建目标Redis实例，创建方式，请...
RDS SQL Server同步至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 阿里云流式数据服务DataHub。前提条件 已创建源 RDS SQL Server 实例，创建方式请参见 快速创建RDS SQL Server实例。重要 目前源RDS SQL Server支持的版本，请...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 已创建源数据库自建Oracle和目标实例 云原生数据仓库AnalyticDB PostgreSQL版。说明 目标实例...
自建MariaDB同步至RDS MariaDB
数据传输服务DTS（Data Transmission Service）支持自建MariaDB同步至 RDS MariaDB 实例，实现数据的实时同步。前提条件 已创建目标 RDS MariaDB 实例，创建方式，请参见 快速创建RDS MariaDB实例。目标 RDS MariaDB 实例的存储空间须大于...
自建Oracle迁移至自建PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。自建Oracle数据库已开启...
云原生内存数据库Tair间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版（Tair）实例或Tair（云盘版）实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步任务的配置流程。前提条件 已创建源库目标Redis企业版（Tair）...
MySQL实例间的双向同步
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 同步至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 云原生数据仓库AnalyticDB PostgreSQL版 实例，创建方式请参见 创建实例。若源库数据需要全量同步，...
RDS SQL Server间的同步
通过数据传输服务DTS（Data Transmission Service），可以实现 RDS SQL Server 间的数据同步。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 同步方案概览。创建方式，请参见 快速创建RDS SQL Server实例。重要 在混合...
自建Oracle同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle同步至 阿里云流式数据服务DataHub。前提条件 已创建源自建Oracle数据库和目标实例 阿里云流式数据服务DataHub，且自建Oracle数据库的版本为19c、18c、12c、11g...
配置迁移任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据迁移功能简单易用，您只需在新版控制台上进行简单操作，即可完成整个迁移任务的配置。注意事项 本文仅简单介绍数据迁移任务的通用配置流程，不同迁移链路在配置迁移任务时略有不同...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置...
从ECS上的自建Redis同步至Tair实例
数据传输服务DTS（Data Transmission Service）支持从ECS上的自建Redis同步至 云原生内存数据库Tair。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的架构类型，否则会导致数据同步失败。前提条件 已创建源自建Redis实例和...
自建PostgreSQL同步至RDS PostgreSQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建...目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 云原生数据仓库AnalyticDB PostgreSQL版 实例。...
使用DTS将MongoDB Atlas数据库迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。前提条件 建议阿里云MongoDB实例的存储空间比MongoDB Atlas数据库占用的存储空间大10%。注意事项 DTS在执行全...
- 产品推荐
- 这些文档可能帮助您