CREATE TABLE（AUTO模式）
前缀分区列：若一个向量分区键由N（N>1）个分区列组成，它的前K（1）个分区列便组成这个向量分区键的前缀分区列。分区函数：将分区列作为一个函数的输入参数，并将该函数的输出结果作为原始值参与路由计算，该函数被称为分区函数。分区裁剪...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
机制
有散列和无散列 Hash/digest（哈希值）：SHA1，SHA224，SHA256，SHA384和SHA512 密钥封装：AES Key Wrap，AES-GCM，RSA-AES和RSA-OAEP 导出密钥：ECDH 支持的密钥生成机制 CKM_GENERIC_SECRET_KEY_GEN CKM_DES3_KEY_GEN CKM_AES_KEY_GEN ...
HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
热点分区分裂
如果对一级分区的分区键热点值做热点散列，例如将a=66的热点数据散列成5份，语法与场景1类似：alter table t1 split into hot66_partitions 5 by hot value(66);热点散列后，执行 show create table t1 可以观察到表结构应该类似（分区名字...
玄武分析型存储
同时索引的性能主要受数据分布特征影响，包括：cardinality（散列程度），范围查询的记录数/表记录数。在某些情况下，例如 age>0 and age这种查询走索引的开销反而比扫描高。因此玄武基于CBO智能选择索引或扫描。多种索引类型多路归并查找...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
DBMS_UTILITY
GET_HASH_VALUE(name,base,hash_size)函数 NUMBER 计算散列值。GET_PARAMETER_VALUE(parnam,intval OUT,strval OUT)存储过程 BINARY_INTEGER 获取数据库初始化参数设置。GET_TIME 函数 NUMBER 获取当前时间。NAME_TOKENIZE(name,a OUT,b ...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版 会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终映射到同一分区...
如何选择二级索引和多元索引
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。多元索引：一个多元索引是一系列数据结构的组合，其中的每一列都支持建立倒排索引等结构。查询数据时可以按照其中任意一列进行排序。一个多元索引...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
系统信息函数和运算符
除了本节列出的函数，还有一些与统计系统相关的函数也提供系统信息。会话信息函数 current_catalog→name current_database()→name 返回当前数据库的名称。（在SQL标准中数据库被称为“catalogs”，因此 current_catalog 是该标准的拼写...
pg_index
列名称 列类型 描述 indexrelid oid 此索引的 pg_class 项的OID。indrelid oid 此索引的基表的 pg_class 项的OID。indnatts int2 索引中的总列数（与 pg_class.relnatts 重复），这个数目包括键和被包括的属性。indnkeyatts int2 索引中 键...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
列式JSONB
列式JSONB原理介绍 如下图所示开启JSONB列式存储优化后，系统会在底层自动将JSONB的列转换为强Schema的列式存储，查询JSONB中某一个Value时就可以直接命中指定列，从而提升查询性能。同时因为JSONB中的Value是按列式存储的，在存储层可以...
列存索引常见问题
使用 ALTER TABLE 语句为现有表动态添加列索引后，列索引的构建是在只读列存节点异步完成的，通过连接开启行存/列存分流的集群地址或者直连列存节点，可以查询 INFORMATION_SCHEMA.IMCI_INDEXES 表以获得列索引的构建状态，只有 COMMITTED ...
列存索引（IMCI）发布说明
PolarDB MySQL版 重磅推出了列存索引（IMCI）特性。简介 当前主要面向OLTP场景，广泛应用于在线业务，日常产生大量的数据。但是，基于行存的查询性能并不能满足所有应用场景的需求。通常情况下，为了实现复杂分析型查询，需要将数据从 ...
概述
本文介绍了列存索引的特点、架构和适用场景。简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据...
概述
本文介绍了 PolarDB MySQL版 的列存索引特性。简介 当前主要面向OLTP场景，广泛应用于在线业务，日常产生大量的数据。但是，基于行存的查询性能并不能满足所有应用场景的需求。通常情况下，为了实现复杂分析型查询，需要将数据从 PolarDB ...
建表时创建列存索引的DDL语法
本文介绍了如何在建表的时候创建列存索引。前提条件 在添加完只读列存节点，并配置好对应的集群地址后，您可以通过集群地址连接到集群，使用SQL语句创建并管理列存索引。添加只读列存节点。配置集群地址。为了实现行存和列存的分流，目前有...
列存索引技术架构介绍
同时，结合 PolarDB 基于共享存储一写多读的架构特征，其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其...
使用扩展属性定制列存索引
您可以使用列存索引的扩展属性来定制列存索引。本文介绍了列存索引的扩展属性以及使用扩展属性来定制列存索引的方法。扩展属性 pack_shift 用于设置列存索引数据的行组（row group）大小。列存索引数据的行组大小主要影响内存常驻部分数据...
LLM-敏感词过滤
无 SQL脚本 否 where语句填写，是否敏感词 默认保存到 is_sensitive 列，检测出的敏感词 默认保存到 sensitive_words 列，可根据这两列的结果进行过滤。如果修改了列名，请根据修改后的列名填写。默认条件为 where not is_sensitive。无 ...
PolarDB HTAP实时数据分析技术解密
用户可以选择通过DDL将一张表的全部列或者部分列创建为列索引，列索引采用列压缩存储，其存储空间消耗会远小于行存格式。默认列索引会全部常驻内存以实现最大化分析性能，当内存不够时，也支持将其持久化至共享存储。PolarDB的SQL执行器层...
LLM-文本质量打分（FastText）
置信度保存列名：可选，保存质量置信度的列名，该列值为0~1之间的浮点类型值，默认列名为 quality_score。无 SQL脚本 否 where语句填写，质量标签默认保存到 quality_label 列，置信度默认保存到 quality_score 列，可根据这两列的结果进行...
LOADING_NCI状态说明及其影响
本文介绍了列存节点上的LOADING_NCI状态及其对列存读一致性的影响。重启列存节点之后，在一段时间内，您可能会通过 information_schema.imci_indexes 表看到有一部分列存索引处于LOADING_NCI状态，该状态表示当前索引正在重建列存索引与行...
列存索引
列存索引可以增强宽表中海量数据的分析计算能力，主要适用于车联网与物联网的设备信息统计、电商领域的数据分析、物流行业的订单统计等场景。本文介绍列存索引的基础用法和高阶用法，帮助您快速上手并进一步掌握列存索引。前提条件 已开通...
配置行列自动分流
自动分流方案说明 PolarDB MySQL版 的数据库代理功能支持将 SQL语句的预估执行代价 作为判断指标，通过判断预估执行代价是否会超过特定阈值（该阈值可配置），决定将该SQL请求分流到行存或是列存节点上处理，从而发挥出行存和列存的最佳...
- 产品推荐
- 这些文档可能帮助您