MySQL分库分表实践

本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中,通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...

逻辑

使用场景 如下为典型的逻辑库场景:单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库,则可便捷的进行分表/逻辑表操作,即将分表/逻辑表当做...

分库分表问题

常见分库分表问题列表:分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段,但是如果配置了拆分字段,后续执行 SQL 均...

注意事项

分库分表规则 数据访问代理可以根据任意字段、多个字段进行分库分表,且同一个分表可以配置多个规则。如果配置了分表规则后,所有 SQL 请求都需要带上分库分表字段。如果数据库分片集群是分库分表模式,则所有数据库分表都需要配置分库分表...

SQL洞察

挂载到 PolarDB-X 1.0(DRDS)的 RDS MySQL 实例执行一条SQL语句时,由于水平拆分(分库分表)原因,会在RDS MySQL实例上产生多条SQL日志。数据库实例的数据迁移会引起闪断,迁移期间SQL洞察丢失部分数据是符合预期的。当数据库实例负载...

YYYYWEEK

PolarDB-X 已有8个分库,所以每个分库应该建14张物理分表(106/8=13.25,取整为14,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyyweek_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime ...

分库分表

数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中,后端的这些 RDS 数据库被称为分库分库中的表被称为分表。拆分后,每个分库负责一份数据的读写操作,从而有效的分散了整体访问压力。在系统扩容时,只需要水平增加...

YYYYWEEK

PolarDB-X 1.0 已有8个分库,所以每个分库应该建14张物理分表(106/8=13.25,取整为14,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyyweek_tb(id int,name varchar(30)DEFAULT NULL,create_time ...

Sharding 功能介绍

重要 在计算分库规则时,如果不填写分库规则,则会生成一个默认的分库规则,其计算结果为:分表规则的计算结果/(分表数/分库数)。如分表规则计算结果为 20,分库数为 10,分表数为 100,那么相同规则下分库规则计算结果为:20/(100/10)=2...

YYYYDD

PolarDB-X 1.0 已有16个分库,所以每个分库应该建46张物理分表(732/16=45.75,取整为46,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyydd_tb(id int,name varchar(30)DEFAULT NULL,create_time ...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。使用场景 适合于需要按年份与月份进行分库的场景,建议结合该函数与 ...

YYYYDD

PolarDB-X 已有8个分库,所以每个分库应该建92张物理分表(732/8=91.5,取整为92,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyydd_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime ...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本,关于实例版本请参见 ...

场景:配置分库分表离线同步任务

DataWorks支持通过向导模式或脚本模式配置离线同步任务,您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源,详情请参见 支持的数据源与读写插件。背景信息 分库分表...

扫描全部/部分分库分表

语法#SCAN HINT#将SQL语句下发到所有分库的所有分表上执行 SCAN()#将SQL语句下发到指定分库的所有分表上执行 SCAN(NODE="node_list")#指定分库#将SQL语句下发到指定分库分表上执行,根据条件计算物理表名称 SCAN([TABLE=]"table_name_list...

逻辑表

分库-分表,最常见的使用场景。说明 按序逐个物理库内的物理表数字递增均分。每个分库相同表名,如每个库都是1到12的12张分表分库-不分表,即每个分库下有相同的一个物理表名。定义 当业务达到一定规模后,需要通过分库分表来进行负载...

扫描全部/部分分库分表

语法#SCAN HINT#将SQL语句下发到所有分库的所有分表上执行 SCAN()#将SQL语句下发到指定分库的所有分表上执行 SCAN(NODE="node_list")#指定分库#将SQL语句下发到指定分库分表上执行,根据条件计算物理表名称 SCAN([TABLE=]"table_name_list...

SQL 路由

分库分表模式下,数据访问代理会根据拆分键(即拆分字段)以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后,数据访问代理会将从各个分表获取的数据合并,然后返回给用户。本文介绍在分库分表场景中数据访问...

基本概念

数据库分片 database sharding 表示分库分表中的数据库分库分库是一个逻辑上的概念,物理上可能是一个物理数据库代表一个“分库”,也可能是多个物理数据库组成一个“分库”,在数据访问代理里面统一概念称分片。分片 shard 同数据库分片...

逻辑

为解决分库分表的场景下,查询、维护数据难的问题,DMS推出逻辑库、逻辑表的解决方案。您可以将多个(或单个)物理库配置成一个逻辑库、逻辑表,轻松查询与管理复杂、庞大的分库分表。背景信息 分库分表场景下,业务数据按照路由算法分散...

查看分库信息

您可以通过数据访问代理控制台查看数据库的分库分表信息以及后端各个物理分库名与所在的物理数据源(RDS 或 OceanBase)。操作步骤如下:进入数据访问代理控制台,单击左侧导航栏上的 数据库 后,可在右侧的数据库列表页面查看数据库相关...

连接 Navicat 客户端

插入、更新、删除数据(单库单表、分库分表均支持)支持双击打开数据表后,进行排序或筛选(单库单表、分库分表均支持)支持部分 DDL:不支持库操作 不支持单库单表的所有 DDL 分库分表的建表仅支持 sharding DDL 支持分库分表的 alter、...

管理数据表

重要 在计算分库规则时,如果不填写分库规则,那么会生成一个默认的分库规则,其计算结果为 分表规则的计算结果/(分表数/分库数)。如分表规则计算结果为 20,分库数为 10,分表数为 100,那么相同规则下分库规则计算结果为 20/(100/10)=2。

RDS/PolarDB 数据源配置分库分表

一般用户的分库分表分两种情况:单库多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

RDS/PolarRDB 数据源配置分库分表

一般用户的分库分表分两种情况:单库多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

PolarDB-X 1.0的分库分表是什么意思?

关于 PolarDB-X 1.0 的分库分表的相关说明,请参见 拆分函数概述。

数据同步模版

分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时,我们往往需要用到分库分表合并的能力,将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据(包括新增的符合正则表达...

创建数据访问代理数据库

创建类型:分库分表:则需要设置对应的分库数,分表规则会在创建数据表时指定;单库单表:将已有的数据库交由数据访问代理进行代理访问,实现统一管理及读写分离的功能,修改数据库连接串和用户名密码即可,无需进行数据导入或修改代码。...

选择片数

分库分表中的分库是一个逻辑上的概念,物理上可能是一个物理数据库代表一个“分库”,也可能是多个物理数据库组成一个“分库”,在数据访问代理里面统一概念称“分片”。选择分片数原则 分片数决定了数据访问代理数据库数的逻辑最大值,...

主键与唯一键(DRDS模式)

沿用示例3中的order_tbl表,该表使用city作为分库拆分键,且只分库分表,因此每个分库都只有1张分表。向order_tbl插入一条数据,执行成功。INSERT INTO order_tbl(order_id,city,name)VALUES(10001,"Beijing","phone");Query OK,1 row ...

分布式序列问题

分库分表的分布式序列仅保证单个分片的序列 ID 唯一,如果需要确保分库分表的分布式序列全局唯一,可以在序列 ID 中拼接分库分表位,以此保证全局唯一。分布式序列使用注意事项 在运行过程中,不能调整 dbp_sequence 表的数据,如果进行了...

STR_HASH

描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标,以截取拆分键的字符串的某段子串,然后将其作为字符串(或整数)输入进行分库分表的路由计算具体的物理分片,函数如下所示:STR_HASH(shardKey[,startIndex,endIndex[,valType[,...

历史版本常见问题

因此,PolarDB-X 1.0 使用上述分区函数分库分表分库分表列一样),请保证分区列的取值空间要足够大(即分区列的区分度要足够好,且不同取值的数目最好能超过50W)。处理建议 如果分库分表列是相同的,建议使用HASH(该哈希算法与上述几类...

AUTO模式数据库与DRDS模式数据库

分库分表语句:dbpartition by hash(id)tbpartition by hash(id)tbpartition 2 表数据总量:16000W 测试场景 Sysbench细分场景说明:oltp_point_select:仅含分区键的单点等值查询。oltp_read_only:事务中同时混合分区键的单点查询与小...

分布式序列

数据访问代理提供了生成分布式环境下的分布式唯一序列(Sequence)的能力,该序列有全局唯一、全局递增的特性,常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现,如果需要使用该功能,需要...

STR_HASH

A:两者虽然都是直接根据字符串取值做分库分表的哈希路由,但是两者的分库分表的路由算法实现不一样。前者支持用户建表时自行设定截取子串相关参数,且在根据字符串的哈希值计算分库分表路由时是基于UNI_HASH算法进行计算;而后者是只对...

错误代码

排查方法:检查分库分表规则,是否有配置当前表的分库分表规则。如果检查分库分表没有问题,请确认一下是否有生效数据库配置。ERROR 7022:Physical database connection pool is full,database name:x 问题描述:数据访问代理连接后端数据...

如何使用HINT(5.2及以下版本适用)

此外如果需要单独查询某个分库或者已知分库的某个分表中的数据,也可以使用该自定义HINT,直接将SQL语句下发到分库中执行。指定分库执行SQL自定义HINT有两种使用方式,即通过分片名指定SQL在分库上执行或者通过分库键值指定SQL在分库上执行...

能否更换PolarDB-X 1.0分库分表的拆分键?

若您的 PolarDB-X 1.0 实例...若您的 PolarDB-X 1.0 实例版本低于V5.4.7-16000638,不支持变更已创建完成的分库分表的拆分键。如果确实有需要变更表的拆分键,可以采用以下的临时办法:选择新的分库键并重新建表;然后将原表的数据进行导入。

数据访问代理连接器概述

数据访问代理连接器基于标准的 JDBC 接口...分库分表路由指定 可通过自定义 HINT 语句,指定 SQL 语句访问某一特定的分库分表。拦截器扩展 数据访问代理连接器具有灵活的扩展机制,可通过实现拦截器(Interceptor)接口,提供更多的扩展功能。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 MongoDB 版 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用