ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
生态对接
无特殊要求 MaxCompute：JDBC驱动v3.0.1及以上版本 SQL Workbench/J连接MaxCompute JDBC驱动程序 ETL工具 ETL（Extract-Transform-Load）用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
产品概述
广泛生态兼容 支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析，MADlib库内置超过300个机器学习算法库。数据互联互通 支持通过DTS、DataWorks等工具，同多种数据源同步；支持高并行访问OSS，构筑数据湖分析。产品架构 云原生...
产品优势
简单易用 AnalyticDB MySQL版 高度兼容MySQL协议和SQL:92、SQL:99、SQL:2003标准，通过标准SQL和 常用BI工具、以及ETL工具平台即可轻松使用。AnalyticDB MySQL版 提供多种 数据导入或导出 方式，及 作业开发、数据可视化 的一站式服务。
选择连接工具
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
功能特性
数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、Apache Airflow、Azkaban。ETL工具连接 BI工具对接 支持Tableau、FineBI、FineReport、Davinci、Superset、Yonghong BI、Quick BI、观远BI...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
通过Kettle导入至数仓版
背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase、MongoDB），也支持Excel、Access类型的小型数据源。通过扩展插件，Kettle可以支持更多数据源。更...
应用案例
OSS与Lindorm数据源 DLA Ganos可以用来构建ETL工具，实现数据在不同数据库之间的流转。如用户可以将数据上传到OSS，然后进行重投影、拼接、创建金字塔并写入Lindorm（HBase）等。相关代码链接请参见 Code。机器学习 本节我们展示如何基于...
电子合同：深圳法大大网络科技有限公司
法大大通过数据传输服务DTS（Data Transmission Service）将存储在MySQL数据库中的相关数据迁移至 PolarDB，并通过ETL工具定期地将历史数据同步至 PolarDB。使用 PolarDB 存储超过6亿份电子合同数据，这些数据可以安全地存储在 PolarDB，...
数据上云工具
Kettle（Tunnel通道系列）Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。详情请参见 基于Kettle的MaxCompute插件实现数据上云。...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
使用ClickHouse-Local迁移上云
背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数，或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序，您就可以使用ClickHouse-Local作为ETL工具，将数据从当前的数据库系统迁移到云数据库ClickHouse企业版。...
通过PrestoDB使用Tablestore
PrestoDB可以作为查询工具、数据ETL工具、压力器和统一查询引擎来满足不同场景的数据处理需求。PrestoDB作为日常开发和调查问题时的查询工具，支持通过SQL查询或分析表中数据。PrestoDB作为数据ETL工具，支持实现跨表或跨实例的数据复制...
2021年
复杂类型函数 2021-08-04 新增ETL工具连接MaxCompute操作指导。新说明 MaxCompute支持连接ETL工具管理MaxCompute项目。使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用Azkaban调度MaxCompute 2021-08-02 in/not in ...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
概述
Hologres兼容PostgreSQL生态，提供JDBC/ODBC接口，支持对接第三方ETL和BI工具，包括Tableau及Quick BI等。您可以将Hologres查询的数据直接对接BI工具，进行多维分析和探索业务。Hologres支持连接的BI分析工具如下表所示。BI工具 是否支持...
什么是实时数仓Hologres
兼容PostgreSQL生态 Hologres兼容PostgreSQL生态，提供JDBC/ODBC接口，轻松对接第三方ETL和BI工具，包括Quick BI、DataV、Tableau、帆软等。支持GIS空间数据分析，支持Oracle函数扩展包。DataWorks开发集成 Hologres与DataWorks深度集成，...
配置同步任务（新控制台）
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后...
使用DTS迁移Redis
相关文档 若您的数据库无需在线迁移，您可以通过轻量级工具redis-cli，导入AOF文件进行数据迁移，更多信息请参见 使用AOF文件进行迁移。常见问题 为什么测试连接失败？请排查以下几方面：账号密码错误，Redis的密码格式为 user:password，...
从自建Redis迁移至MyBase Redis
使用redis-cli工具连接自建Redis数据库。说明 安装原生Redis即可使用redis-cli，详情请参见 Redis社区版官网。redis-cli-h<host>-p<port>-a说明<host>：自建Redis数据库的访问地址，本机可使用127.0.0.1。自建Redis数据库的服务...
RDS MariaDB迁移至RDS PostgreSQL
其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS默认对...
RDS MariaDB同步至RDS PoatgreSQL
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
PolarDB-X 1.0同步至DataHub
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
PolarDB-X 1.0同步至RDS MySQL
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
RDS MySQL迁移至RDS PostgreSQL
其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。...
PolarDB-X 1.0同步至阿里云消息队列Kafka
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
PolarDB-X 1.0间同步
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
PolarDB MySQL版同步至自建Oracle
对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志，并通过Kafka协议上传到日志服务。本文介绍通过采集工具采集到日志后，利用Kafka协议上传日志到日志服务的操作步骤。相关...
PolarDB-X 2.0间的单向同步
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
RDS MariaDB实例间的同步
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
RDS MySQL同步至RDS PostgreSQL
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
PolarDB MySQL版迁移至Kafka
其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS默认对...
PolarDB-X 2.0同步至RDS MySQL
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
- 产品推荐
- 这些文档可能帮助您