通过DataWorks将PolarDB-XDRDS)数据同步到阿里云ES

支持同步的数据源包括:阿里云云数据库(MySQL、PostgreSQL、SQL Server、MongoDB、HBase)阿里PolarDB-X(原DRDS升级版)阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景...

PolarDB-X 1.0同步至阿里云消息队列Kafka

本文介绍如何使用数据传输服务DTS(Data Transmission Service)将PolarDB-X 1.0同步至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。已创建Kafka实例,并已创建用于接收同步数据的Topic,请参见 ...

PolarDB-X 1.0迁移至阿里云消息队列Kafka

本文介绍如何使用数据传输服务DTS(Data Transmission Service)将PolarDB-X 1.0迁移至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。说明 PolarDB-X 1.0的存储类型支持为RDS MySQL(包括私有定制...

PolarDB-X 2.0迁移至阿里云消息队列Kafka

本文介绍如何使用数据传输服务DTS(Data Transmission Service),您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka,从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例,且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...

PolarDB-X 2.0同步至阿里云消息队列Kafka

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB-X 2.0 同步至阿里云消息队列Kafka,实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例,且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...

什么是云原生数据库PolarDB分布式版

PolarDB-X 的存储节点(DN)基于阿里巴巴自研的跨可用区部署的三节点强一致数据库X-DB构建。X-DB使用InnoDB引擎,提供MySQL语法全兼容能力,以及对复杂查询的处理能力。X-DB结合 PolarDB-X 面向HTAP的CBO查询优化器,可精确控制计算下推行...

聚合支付:Ping+

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍Ping+如何通过 PolarDB-X 应对业务挑战。所属行业...

新建 PolarDB-X 2.0 数据源

背景信息 云原生数据库 PolarDB 分布式版(简称 PolarDB-X)是由阿里巴巴自主研发的云原生分布式数据库,为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件...

新建 PolarDB-X 1.0 数据源

背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库,融合分布式 SQL 引擎和分布式自研存储 X-DB,基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模,以及百 PB 级海量存储。详情请参见 产品概述。...

MySQL生态兼容

PolarDB-X 将兼容MySQL以及周边生态作为核心设计目标之一。本文从SQL语法、事务行为、导入导出等维度总结了兼容性的相关特性。MySQL协议 PolarDB-X 通讯协议兼容MySQL协议,可以使用常见的驱动直接连接到 PolarDB-X 实例,包括JDBC Driver...

DRDSPolarDB-X)数据源

DRDSPolarDB-X)数据源为您提供读取和写入DRDSPolarDB-X)双向通道的功能,本文为您介绍DataWorks的DRDSPolarDB-X)数据同步的能力支持情况。支持的版本 实时读取 支持DRDSPolarDB-X 1.0)和PolarDB-X 2.0的非只读实例。创建DRDS...

配置PolarDB-X(原DRDS)输入组件

PolarDB-X输入组件用于读取PolarDB-X数据源的数据。同步PolarDB-X数据源的数据至其他数据源的场景中,您需要先配置PolarDB-X输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在...

配置PolarDB-X(原DRDS)输入组件

PolarDB-X输入组件用于读取PolarDB-X数据源的数据。同步PolarDB-X数据源的数据至其他数据源的场景中,您需要先配置PolarDB-X输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在...

技术架构

PolarDB-X 的架构继承了DRDSX-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于分布式数据一致性的能力,为用户提供新的 云原生+分布式 的产品体验。整体架构 PolarDB-X 的整体架构如下:核心组件 元数据服务(Global Meta ...

MSHA支持模块列表

本文介绍单地域和多地域场景分别支持的功能模块。...Zookeeper 数据层 自建MySQL 自建PostgreSQL RDS PolarDB-MySQL DRDS...Zookeeper 数据层 自建MySQL 自建PostgreSQL RDS PolarDB-MySQL DRDSPolarDB-X 1.0)PolarDB-X 2.0 PolarDB-Oracle

历史版本常见问题

版本范围 PolarDB-X 1.0 所有版本及PolarDB-X 2.0中的DRDS模式数据库。部分时间类型的拆分函数路由后有概率出现分片缺失的现象 现象描述 当分库分表列的类型是date/datetime/timestamp,且使用YYYYMM/YYYYWEEK/YYYYDAY/MMDD/MM/DD等拆分...

资源授权

所以,为确保 PolarDB-X 1.0 控制台有权限操作用户的RDS资源,PolarDB-X 1.0 OpenAPI的使用者要通过RAM服务给 PolarDB-X 1.0 控制台授权RDS资源的访问权限。否则调用PolarDB-X OpenAPI会出现权限不足而报错。通过控制台进行授权(推荐)本...

RAM资源授权

drds:$regionid:$accountid:instance/$instanceid/db/$dbname 查看 PolarDB-X 1.0 数据库详情 DeleteDrdsDb acs:drds:$regionid:$accountid:instance/$instanceid/db/$dbname 删除 PolarDB-X 1.0 数据库 ModifyReadWriteWeight acs:drds:$...

使用mysqldump导入导出数据

PolarDB-X 和MySQL之间数据传输时不推荐导出表结构,因为 PolarDB-X 包含分库分表功能,CREATE TABLE(DRDS模式)中的拆分函数等与MySQL不兼容,不兼容的关键字包括:DBPARTITION BY hash(partition_key)TBPARTITION BY hash(partition_key...

DeleteFailedDrdsDB

调用DeleteFailedDrdsDB接口删除创建或者过程中失败的PolarDB-X数据库。不同于DeleteDrdsDB(删除PolarDB-X数据库接口),该接口只针对创建或者删除PolarDB-X数据库的过程中出现失败的库。请求参数 参数名 类型 是否必须 说明 Action ...

PolarDB-X 2.0和1.0功能对比

说明 本产品文档中 PolarDB-X 表示PolarDB-X 2.0实例,PolarDB-X 1.0 表示PolarDB-X 1.0实例(即原DRDS)。PolaDB-X 1.0实例产品文档请参见 PolarDB-X 1.0 章节。功能项 PolarDB-X 1.0实例 PolarDB-X 2.0实例 购买实例 PolarDB-X 1.0本身不...

PolarDB-X适用场景

产品能力 PolarDB-X阿里云自研的云原生分布式数据库,具备国产化、自主可控的能力。另外,具有公有云、专有云、DBStack和软件版多种部署形态、完善的交付和服务团队,已经帮助百余家企业完成商业数据库替换、核心数据库系统分布式改造、...

配置PolarDB-X输出组件

在离线单条管道脚本的开发页面,按照下图操作指引,进入 PolarDB-X(原DRDS)输出配置 对话框。序号 操作描述 ① 单击页面右上角的 组件库。② 单击 输出。③ 将 PolarDB-X(原DRDS)组件拖到左侧的管道画布中。④和⑤ 单击上游组件④处后...

错误代码

本文档列出了 PolarDB-X 1.0 返回的常见错误码及解决方法。TDDL-4006 ERR_TABLE_NOT_EXIST 数据表不存在。示例:ERR-CODE:[TDDL-4006][ERR_TABLE_NOT_EXIST]Table '*' doesn't exist.该错误表示 PolarDB-X 1.0 数据表不存在,或者由于未知...

概述

PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成,通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密,性能表现更优秀,服务链路更稳定,售卖价格更优惠。...

概述

本文将为您介绍 PolarDB-X 中自增列的相关概念和原理。概念 PolarDB-X 支持通过关键字 AUTO_INCREMENT 为列设置自增属性,能够自动为列填充全局唯一值。当 INSERT 语句没有包含自增列,或者为自增列指定的值是0或NULL时,PolarDB-X 会自动...

拆分函数概述

PolarDB-X 1.0 兼容MySQL的DDL表操作语法,并添加了 drds_partition_options 的分库分表关键字,具体操作语法如下所示:CREATE[TEMPORARY]TABLE[IF NOT EXISTS]tbl_name(create_definition,.)[table_options][drds_partition_options]...

日志字段详情

本文介绍PolarDB-X 1.0 SQL审计日志的字段详情。字段 说明_topic_日志主题,格式为drds_audit_log_实例ID_数据库名,例如:drds_audit_log_drdsxyzabcd_demo_drds_db。affect_rows 执行SQL返回的行数。增删改时表示影响的行数。查询语句时...

技术原理

扩展性原理 扩展性本质在于分而治之,PolarDB-X 1.0 计算资源通过水平拆分(分库分表)和垂直拆分,将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分(分库分表)PolarDB-X 1.0 具备数据水平拆分的能力...

外部服务器如何访问阿里云的RDS

从访问速度、链路稳定性、安全性等方面考虑,建议在内网中配合阿里云的云服务器ECS一起使用,关于如何通过内网访问RDS云数据库,请参见 如何连接RDS数据库。为RDS申请外网地址,关于如何为RDS申请外网地址,请参见 申请外网地址。说明 若...

外部服务器如何访问阿里云的RDS

从访问速度、链路稳定性、安全性等方面考虑,建议在内网中配合阿里云的云服务器ECS一起使用,关于如何通过内网访问RDS云数据库,请参见 如何连接RDS数据库。为RDS申请外网地址,关于如何为RDS申请外网地址,请参见 申请外网地址。说明 提供...

外部服务器如何访问阿里云的RDS

从访问速度、链路稳定性、安全性等方面考虑,建议在内网中配合阿里云的云服务器ECS一起使用,关于如何通过内网访问RDS云数据库,请参见 如何连接RDS数据库。为RDS申请外网地址,关于如何为RDS申请外网地址,请参见 申请外网地址。说明 提供...

外部服务器如何访问阿里云的RDS

从访问速度、链路稳定性、安全性等方面考虑,建议在内网中配合阿里云的云服务器ECS一起使用,关于如何通过内网访问RDS云数据库,请参见 如何连接RDS数据库。为RDS申请外网地址,关于如何为RDS申请外网地址,请参见 申请外网地址。说明 提供...

外部服务器如何访问阿里云的RDS

从访问速度、链路稳定性、安全性等方面考虑,建议在内网中配合阿里云的云服务器ECS一起使用,关于如何通过内网访问RDS云数据库,请参见 如何连接RDS数据库。为RDS申请外网地址,关于如何为RDS申请外网地址,请参见 申请外网地址。说明 提供...

配置PolarDB-X输出组件

在离线单条管道脚本的开发页面,按照下图操作指引,进入 PolarDB-X(原DRDS)输出配置 对话框。在 PolarDB-X(原DRDS)输出配置 对话框,配置参数。参数 描述 步骤名称 根据当前组件的使用场景,填写组件名称。数据源 选择数据源。选择...

日志字段

db_name PolarDB-X 1.0 数据库名称。user 执行SQL的用户名。client_ip 访问 PolarDB-X 1.0 实例的客户端IP。client_port 访问 PolarDB-X 1.0 实例的客户端端口。sql 被执行的SQL语句。trace_id SQL执行的TRACE ID。如果是事务的话,会以...

阿里云账号迁移,目标实例不能选择其他阿里云账号下...

阿里云账号云实例之间的迁移,需要使用目标实例所属的阿里云账号登录DTS,然后源实例的类型选择 公网IP 配置实例的连接信息。目标实例选择实例ID。具体的任务配置方法可以参考:最佳实践中的跨阿里云账号的RDS实例间的数据迁移。

连接到数据库

参数 说明 数据库类型 默认为 PolarDB-X(原DRDS),无需选择。实例地区 默认为当前实例所在地域,无需选择。说明 若您需要登录其他地域下的 PolarDB-X 实例,从下拉列表中选择目标实例的所在地域即可。实例ID 默认为当前实例的实例ID,...

错误码

本文档列出了 PolarDB-X 返回的常见错误码及解决方法。PXC-1305 ERR_UNKNOWN_SAVEPOINT PXC-1094 ERR_UNKNOWN_THREAD_ID PXC-4006 ERR_TABLE_NOT_EXIST PXC-4007 ERR_CANNOT_FETCH_TABLE_META PXC-4018 ERR_INVALID_DDL_PARAMS PXC-4100 ...

PolarDB-X间的数据实时同步

云原生分布式数据库 PolarDB-X阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品,高度兼容MySQL协议和语法,支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离,具备数据库全生命周期运维管控能力。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
阿里邮箱 弹性公网IP 全局事务服务 (文档停止维护) 商标服务 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用