MySQL分库分表实践

本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表数据写入至Hologres同一个表中,通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...

MySQL分库分表同步至MaxCompute

本文以MySQL分库分表实时写入MaxCompute场景为例,为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上,以便在同步任务配置时,可通过选择数据源名称来...

MySQL分库分表同步至MaxCompute

本文以MySQL分库分表实时写入MaxCompute场景为例,为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上,以便在同步任务配置时,可通过选择数据源名称来...

MySQL分库分表同步至Hologres(方案1.0)

在本实践中,我们需要将MySQL数据库中的12张分库分表写入对应的两张Hologres表中。设置表(库)名映射规则如下:源表名和目标表名转换规则:支持将源表名通过正则表达式转换为目标表名。如上图所示设置 源 为要搜索的字符串 t_order.*,将...

MySQL分库分表同步至Hologres(方案2.0)

需求分析 场景描述:MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表:订单表 t_order 和用户表 t_user,其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库,12张分表,...

场景:配置分库分表离线同步任务

说明 仅MySQL、PolarDB、AnalyticDB支持通过向导模式添加分库分表,其他数据库请切换至脚本模式配置分库分表同步。脚本模式配置分库分表:脚本示例如下,完整的任务配置步骤请参见 通过脚本模式配置离线同步任务。重要 实际运行时,请删除...

应用场景

支持将MySQL分库分表数据聚合到同一张表中,提供全局数据分析能力。交互式查询 该场景要求支持实时BI报表和自定义多维查询,响应流畅,交互体验好;任意选择分析维度,无需事先建模和预计算,便于进行探索式分析。该场景可实现:查询速度...

数据类型转换

本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时,数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度,SIGNED、UNSIGNED、ZEROFILL。INT INT ...

逻辑

使用场景 如下为典型的逻辑库场景:单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库,则可便捷的进行分表/逻辑表操作,即将分表/逻辑表当做...

存储层高可用

AnalyticDB的存储层是基于Raft协议构建了一套分布式强一致、高可用、高可靠的存储系统,相比较于传统RDBMS的主备协议、常见的分布式中间件分库分表的系统,实现了更好的读写高可用。读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片,...

YYYYWEEK

PolarDB-X 已有8个分库,所以每个分库应该建14张物理分表(106/8=13.25,取整为14,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyyweek_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime ...

YYYYWEEK

PolarDB-X 1.0 已有8个分库,所以每个分库应该建14张物理分表(106/8=13.25,取整为14,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyyweek_tb(id int,name varchar(30)DEFAULT NULL,create_time ...

YYYYDD

PolarDB-X 1.0 已有16个分库,所以每个分库应该建46张物理分表(732/16=45.75,取整为46,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyydd_tb(id int,name varchar(30)DEFAULT NULL,create_time ...

多主集群(表)概述

世界服游戏及电商场景:分钟级的扩缩容,适应快速增长的业务请求 场景特点:世界服游戏及电商场景,一般采用基于中间件或者业务的分库分表场景方案。在版本更新和大促的时候往往需要快速的弹性扩容数倍的集群容量,在活动和大促结束后又...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。使用场景 适合于需要按年份与月份进行分库的场景,建议结合该函数与 ...

YYYYDD

PolarDB-X 已有8个分库,所以每个分库应该建92张物理分表(732/8=91.5,取整为92,分表数最好是分库数的整数倍)。则您可以使用如下建表DDL:create table test_yyyydd_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime ...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本,关于实例版本请参见 ...

CREATE DATABASE

inst_id_list]partition_mode_option:{'auto'|'partitioning'}|{'drds'|'sharding'} default_single_option:{'on'|'off'} 注意事项 标准版不支持dbpartition(分库分表)语法,仅企业版实例支持创建DRDS模式数据库。参数说明 参数 说明 ...

STR_HASH

描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标,以截取拆分键的字符串的某段子串,然后将其作为字符串(或整数)输入进行分库分表的路由计算具体的物理分片,函数如下所示:STR_HASH(shardKey[,startIndex,endIndex[,valType[,...

STR_HASH

A:两者虽然都是直接根据字符串取值做分库分表的哈希路由,但是两者的分库分表的路由算法实现不一样。前者支持用户建表时自行设定截取子串相关参数,且在根据字符串的哈希值计算分库分表路由时是基于UNI_HASH算法进行计算;而后者是只对...

绑定或解绑RAM用户与数据库账号

RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器:使用RAM用户登录SQL编辑器,需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式:使用 AnalyticDB MySQL 数据库普通账号登录,需要映射成RAM用户进行外表...

绑定或解绑RAM用户与数据库账号

RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器:使用RAM用户登录SQL编辑器,需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式:使用 AnalyticDB MySQL 数据库普通账号登录,需要映射成RAM用户进行外表...

FineBI 6.0

本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息,而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据

DataV

域名 连接 AnalyticDB MySQL 数据库的URL地址。说明 此处的URL地址不是官网页面的URL,也不是本机的IP,是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的URL地址。例如使用外网环境下的阿里云 AnalyticDB MySQL,域名...

AnalyticDB MySQL助力Flowerplus业务高速发展

复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢,数据达到千万级或者亿级时,复杂查询报表返回很慢或者根本无法返回,无法正常支撑报表和BI业务。数据实时性 部分报表对返回...

MySQL数据库对外键和索引等名称的长度限制导致创建时...

Identifier name 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' is too long 问题原因 因为 MySQL数据库 对外键和索引等名称的长度有限制,具体如下:Identifier Type Maximum Length(characters)Database 64(NDB ...

通过一键建仓同步至数仓版

已创建PolarDB MySQL数据库。更多信息,请参见 数据库管理。PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时,系统自动通过DTS同步数据,DTS计费规则,请参见 计费概述。注意事项 数据同步过程中,若在源实例...

修改表 ALTER TABLE 的不兼容点

本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时,MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换,但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...

通过一键建仓同步至数仓版

已创建RDS MySQL数据库。更多信息,请参见 创建数据库。RDS MySQL数据库中已存在表数据。计费 一键创建RDS MySQL数据仓库时,系统自动通过DTS同步数据。DTS计费规则,请参见 计费概述。注意事项 数据同步过程中,若在源实例RDS MySQL中新增...

登录数据库

HybridDB for MySQL数据库兼容MySQL协议,您可以通过MySQL客户端或程序访问HybridDB for MySQL数据库,也可以使用阿里云的DMS登录数据库。前提条件 已通过HybridDB for MySQL管理控制台创建实例及数据库,待状态显示为 运行中,则数据库...

自建MySQL数据导入

本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版(3.0)。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...

FineBI

检查外接MySQL数据库是否使用utf8(– UTF-8 Unicode)编码为字符集排列规则,或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB,连接失败 处理方法:外界数据库需要配置本地MySQL,而...

查询数据库账号

AnalyticDB MySQL兼容MySQL数据库,AnalyticDB MySQL中也有一个名为MySQL的内置数据库,该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中,...

概述

创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表,login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...

登录数据库

HybridDB for MySQL数据库兼容MySQL协议,用户可以通过MySQL客户端或程序访问HybridDB for MySQL数据库,也可以使用阿里云的DMS。首先通过 HybridDB for MySQL管理控制台 创建实例及数据库,待状态显示为“运行中”,则数据库准备就绪;在...

数据迁移方案概览

“数据传输”导入 事务引擎/分析引擎 使用数据传输(Data Transmission Service)将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入和导出...

删除有约束的列

本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中,对比类型空白表示相应约束下不支持该类型。删除主键(PRIMARY KEY)约束下的列 如果删除的 主键列 中包含下表中的字段类型...

通过一键建仓同步至数仓版

数据库名称 从下拉列表中选择目标 AnalyticDB MySQL 数据库名。表名 从下拉列表中选择目标 AnalyticDB MySQL 表名。账号名称 目标 AnalyticDB MySQL 中创建的 数据库账号。账号密码 填写账号名称对应的密码。字段映射 系统自动提取日志服务...

导出至自建MySQL

TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP(即VPC地址)和目标库名(本文示例中为 test_adb)。查看步骤如下:登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域,...

不同编程语言中如何开启客户端的PrepareStatement

AnalyticDB MySQL 数据库自身具备强大的查询计算能力和计划缓存功能,无需依靠服务器端预处理语句获得大部分性能优势。AnalyticDB MySQL 数据库不建议使用服务器端预编译。大部分开发语言中支持通过配置开启客户端预编译(PrepareStatement...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生数据仓库AnalyticDB MySQL版 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用