什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
添加入库任务
入库后，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等数据中台任务。本文主要介绍如何添加入库任务。前提条件 已添加文件类矢量数据，具体操作，请参见 添加文件类...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
MySQL实例间的双向同步
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
从ECS上的自建SQL Server同步至云原生数据仓库...
如果选择为 是，且存在下述情况，DTS在结构初始化阶段和增量数据迁移阶段会为目标对象添加单引号或双引号：源库所属的业务环境对大小写敏感且大小写混用。源表名不是以字母开头，且包含字母、数字或特殊字符以外的字符。说明 特殊字符仅...
从ECS上的自建SQL Server同步至云原生数据仓库...
如果选择为 是，且存在下述情况，DTS在结构初始化阶段和增量数据迁移阶段会为目标对象添加单引号或双引号：源库所属的业务环境对大小写敏感且大小写混用。源表名不是以字母开头，且包含字母、数字或特殊字符以外的字符。说明 特殊字符仅...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果选择为 是，且存在下述情况，DTS在结构初始化阶段和增量数据迁移阶段会为目标对象添加单引号或双引号：源库所属的业务环境对大小写敏感且大小写混用。源表名不是以字母开头，且包含字母、数字或特殊字符以外的字符。说明 特殊字符仅...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果选择为 是，且存在下述情况，DTS在结构初始化阶段和增量数据迁移阶段会为目标对象添加单引号或双引号：源库所属的业务环境对大小写敏感且大小写混用。源表名不是以字母开头，且包含字母、数字或特殊字符以外的字符。说明 特殊字符仅...
从ECS上的自建MySQL同步至RDS
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击该实例...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击该实例...
Redis企业版实例间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
Redis企业版实例间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
云数据库MongoDB版（副本集架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（副本集架构）间的双向同步。前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案...
从RDS PPAS迁移至PolarDB PostgreSQL版（兼容Oracle）...
若源RDS PPAS数据库中的库名称、表名称、字段有大写，在 PolarDB PostgreSQL版（兼容Oracle）集群中创建库、表、字段时需要加上双引号（""）。如需执行增量数据迁移，您需要为源RDS PPAS实例用于数据迁移的账号开通superuser权限。注意事项...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
PolarDB MySQL版间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
PolarDB MySQL版间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建MySQL同步至RDS
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS MySQL实例间的同步
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
PolarDB MySQL版同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
PolarDB MySQL版同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
RDS MySQL迁移至PolarDB-X 2.0
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
- 产品推荐
- 这些文档可能帮助您