表设计
假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在明显瓶颈。在某些数据处理场景下，热点或者数据分布不均会导致明显的长尾效应，拖慢整体速度。某个数据系统或者模块往往仅仅是整个业务...
MongoDB 分片集群介绍
即在moveChunk时，源shard会将迁移的chunk数据进行归档设置，当出现问题时，用于恢复。也就是说，chunk发生迁移时，源节点上的空间并没有释放出来，而目标节点又占用了新的空间。说明 在MongoDB 3.2版本，该配置项默认值为 false，默认不会...
集群高可用架构推荐配置
节点池高可用配置 您可以基于节点的弹性伸缩、部署集、多AZ，结合K8s调度的拓扑分布约束，确保服务在不同的故障域（failure-domain）资源充足且有所隔离，从而当某一故障域出现问题时，服务仍然可以保持运行，减少单点故障的风险，提高系统...
Echarts 连续折线图
不设置时会自动计算最大值保证坐标轴刻度的均匀分布。自动伸缩：勾选后，坐标刻度不会强制包含零刻度。只在数值轴中有效，设置了最大值和最小值后该配置项无效。分割段数：单击+或-号，或手动输入数值，设置坐标轴的分割段数。不设置时会...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
均衡分片（Rebalance）
分片分布不均衡示例：如下图有Worker节点没有分片时，监控信息中会出现如下类似情况，有Worker节点的负载远低于其他Worker。使用如下SQL查询Worker加载分片元数据情况：SELECT DISTINCT worker_id FROM hologres.hg_worker_info;返回结果：...
PolarDB技术内幕
PolarDB 就是在这种背景下出现的，由阿里巴巴自主研发的下一代关系型分布式云原生数据库。在兼容传统数据库生态的同时，突破了传统单机硬件的限制，为用户提供大容量、高性能、高弹性的数据库服务。核心技术之共享存储 PolarDB 采用了共享...
附录：SOFAStack 产品目录
兼容性保障：分布式事务是一个抽象的基于 Service 层的概念，与底层事务实现无关，也就是说在分布式事务的范围内，无论是关系型数据库 MySQL、Oracle，还是 KV 存储 MemCache，或是列存数据库 HBase，只要将对它们的操作包装成分布式事务的...
数据建模诊断
分布字段合理性诊断 AnalyticDB MySQL版 在创建表（创建方法，请参见 CREATE TABLE）时可以通过 DISTRIBUTED BY HASH 指定分布键，来完成数据在各个存储节点的均匀分布。但是因为数据特征存在未知性或者随着业务特征变化会发生变化，所以...
Stage级别诊断结果
对于Join条件存在数据倾斜的场景，如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在...
流程概览
回切至本地VMware 利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切至云下VMware环境或本地物理机。相关文档 使用连续复制型容灾CDR进行ECS容灾，存在操作系统、吞吐量等使用限制。更多信息，请参见 ...
跨可用区容灾
步骤二：添加被保护服务器 连续复制型容灾站点对创建完成后，按以下步骤添加被保护服务器：在左侧导航栏，选择 连续复制型容灾>云上容灾。在页面右上角，选择容灾站点对。在容灾中心的 受保护服务器 页签，单击+添加。在 添加被保护服务器 ...
数据导入性能优化
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
数据导入性能优化
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
使用拆分字段
如果确实找不到合适的业务逻辑主体作为拆分字段，那么可以考虑下面的方法来选择拆分字段：根据数据分布和访问的均衡度来考虑拆分字段，尽量将数据表中的数据相对均匀地分布在不同的物理分库/分表中，适用于大量分析型查询的应用场景（查询...
查看集群日报与分析
在具体问题中会告知您出现问题的RegionServer、表以及分区等信息，您可以进行相应的优化。集群总览分析 在集群总览信息中，您可以获取以下图表信息：集群健康度评分趋势图 集群分区均衡度趋势图 集群分区数量分布饼图 集群请求数趋势图 总...
技术面临的挑战与革新
然而share nothing架构对于跨分片的数据访问不是很友好，比如事务，比如全局索引，实现起来十分复杂，效率也要打上折扣，并且因为计算资源和存储资源是绑定的，因此数据几乎是在所有节点上是均匀分布，在集群扩展时，计算和存储要一起扩展...
颜色映射
颜色映射分类 颜色映射类型分为三大类：分类映射 型、分段映射 型和 连续映射 型。类型 说明 分类映射 适用于需要给名称和类别等分类型的数据，提供颜色上的区分。色板上各个颜色之间互相区分度较大。颜色模板样式 地图示例 分段映射 适用...
回切至本地VMware
本文主要介绍如何利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切到云下VMware环境中。前提条件 已部署CDR网关。更多信息，请参见 步骤三：部署CDR网关。已在被保护的Windows服务器上安装阿里云复制...
功能特性
跨数据库分布式事务 当业务规模增大，单库单表无法满足业务需求时，自然就会出现分库分表的情况。但是，单机事务又不能保证分库后的事务属性，分布式事务几乎无法避免。分布式事务可以让应用轻松具备跨库分布式事务处理能力，像使用单机...
ECS容灾常见问题
ECS容灾中云盘异步复制和连续复制型容灾的常见问题。ECS容灾云盘异步复制型，支持哪些实例规格？云盘有限制？IP地址有限制吗？在可用地域、可用区、云盘规格、ECS网卡、配置额度均存在限制。支持绝大多数实例规格。仅支持ESSD云盘（不含...
ECS容灾常见问题
ECS容灾中云盘异步复制和连续复制型容灾的常见问题。ECS容灾云盘异步复制型，支持哪些实例规格？云盘有限制？IP地址有限制吗？在可用地域、可用区、云盘规格、ECS网卡、配置额度均存在限制。支持绝大多数实例规格。仅支持ESSD云盘（不含...
使用限制
本文介绍连续复制型容灾（CDR）在操作系统、基础架构、数据库和应用等方面的限制。操作系统 CDR目前仅支持以下服务器版本。操作系统 版本 Windows Server 2008R2、2012、2012R2、2016 Linux 重要 Linux系统的/boot 分区和/分区必须在同一...
PS-SMART多分类
GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码（筛除低频特征）外，不建议对其他连续型数值特征进行离散化。PS-SMART算法会引入随机性。例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、...
PS-SMART回归
GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码（筛除低频特征）外，不建议对其他连续型数值特征进行离散化。PS-SMART算法会引入随机性。例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、...
基于TairString实现高性能分布式锁
如果丢失的数据跟分布式锁有关，则会导致锁的机制出现问题，从而引起业务异常。下文介绍三种保障一致性的方法。使用 红锁（RedLock）红锁是Redis作者提出的一致性解决方案。红锁的本质是一个概率问题：如果一个主从架构的Redis在高可用切换...
历史记录
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
一级分区的规划和设计（2.0版）
数据倾斜带来的影响 如果一级分区列选择不合理会导致用户表数据倾斜，带来如SQL查询长尾、后台数据上线超时和单节点资源不足等诸多问题，对查询性能影响非常大也会给用户带来资源的浪费。如何评估表数据是否倾斜 登录 分析型数据库MySQL版...
研发效能，我们怎么衡量？
注：按需求个数统计的方式，因需求大小不一致会出现一些统计偏差，因此期望做需求交付统计时能够将需求粒度拆分的相对较小且均匀。在「需求交付速率」指标卡中，我们可以深入分析：1.根据团队交付速率，评估团队交付能力 我们可以根据团队...
健康检查
如果您的后端应用服务器不支持HEAD方法或HEAD方法被禁用，则可能会出现健康检查失败，此时可以使用GET方法来进行健康检查。POST：GRPC监听健康检查默认采用POST方法。请确保您的后端服务器支持POST请求。如果您的后端应用服务器不支持POST...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
PolarDB PostgreSQL版架构介绍
基于Shared-Storage的过去页面 上述流程中，只读节点中基于日志回放出来的页面会被淘汰掉，此后需要再次从存储上读取页面，会出现读取的页面是之前的老页面，称为 过去页面。如下图所示：T1时刻，主节点在T1时刻写入日志LSN=200，把页面P1...
事件中心
NLB problem-nlb-connectionFail NLB失败连接数骤增 严重 NLB失败连接数骤增 NLB实例的VIP（Virtual IP address）已经连续十分钟出现失败连接数突增现象，可能存在原因：网络链路抖动。后端服务器性能不足。建议检查后端服务器水位或业务...
表操作篇
表格存储会对表中的行按主键进行排序，合理设计主键可以让数据在分区上的分布更加均匀，从而能够充分地利用表格存储水平扩展的特点。选取分区键时，建议遵循以下几个原则：单个分区键值中的数据不宜过大，建议不超过 10 GB。说明 单个分区...
ClickHouse
对于VVR-6.0.6之前的版本，因为ClickHouse官方提供的JDBC写Datetime64数据类型会出现精度丢失，只能精确到秒的问题，所以通过Flink只能写入秒级别的TIMESTAMP，即TIMESTAMP(0)。VVR-6.0.6及之后的版本修复了这个精度丢失问题，通过Flink...
行业趋势与背景
该时代的产品专注解决单机解决不好的分布式扩展性问题，满足分布式数据一致性要求，并支持从单机到分布式的平滑演进，利用云原生技术的优势提供低成本和弹性能力，在交付上具备线上公有云、线下专有云、轻量化等全形态输出。
基本概念
在实际业务中，可能会存在某个Worker因为OOM等原因出现Failover的情况，那么该Worker对应的Shard将会在Worker Failover之后自动挂载在其他Worker上，系统会保证每个Worker新分配的Shard均匀。如下示例，实例一共有4个Worker，2个Table ...
表结构设计
语法 DISTRIBUTED BY HASH(column_name,.)注意事项 尽可能选择值分布均匀的字段作为分布键，例如交易ID、设备ID、用户ID或者自增列作为分布键。说明 尽量不要选择日期、时间和时间戳类型的字段作为分布键，写入时容易发生倾斜影响写入性能...
日志采集器相关问题
答：由于安装脚本只是简单检查连接是否建立，而从模块启动到建立连接需要一个较长的时延，所以会出现这个问题。建议在安装完成一分钟之后，手动检测端口（8002）是否成功建立。支持日志采集器的系统有哪些？答：目前我们仅支持CentOS7.0...
- 产品推荐
- 这些文档可能帮助您