数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
机制
有散列和无散列 Hash/digest（哈希值）：SHA1，SHA224，SHA256，SHA384和SHA512 密钥封装：AES Key Wrap，AES-GCM，RSA-AES和RSA-OAEP 导出密钥：ECDH 支持的密钥生成机制 CKM_GENERIC_SECRET_KEY_GEN CKM_DES3_KEY_GEN CKM_AES_KEY_GEN ...
HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
热点分区分裂
如果对一级分区的分区键热点值做热点散列，例如将a=66的热点数据散列成5份，语法与场景1类似：alter table t1 split into hot66_partitions 5 by hot value(66);热点散列后，执行 show create table t1 可以观察到表结构应该类似（分区名字...
DBMS_UTILITY
GET_HASH_VALUE(name,base,hash_size)函数 NUMBER 计算散列值。GET_PARAMETER_VALUE(parnam,intval OUT,strval OUT)存储过程 BINARY_INTEGER 获取数据库初始化参数设置。GET_TIME 函数 NUMBER 获取当前时间。NAME_TOKENIZE(name,a OUT,b ...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
玄武分析型存储
同时索引的性能主要受数据分布特征影响，包括：cardinality（散列程度），范围查询的记录数/表记录数。在某些情况下，例如 age>0 and age这种查询走索引的开销反而比扫描高。因此玄武基于CBO智能选择索引或扫描。多种索引类型多路归并查找...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版 会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终映射到同一分区...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
如何选择二级索引和多元索引
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。多元索引：一个多元索引是一系列数据结构的组合，其中的每一列都支持建立倒排索引等结构。查询数据时可以按照其中任意一列进行排序。一个多元索引...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
CREATE TABLE（AUTO模式）
前缀分区列：若一个向量分区键由N（N>1）个分区列组成，它的前K（1）个分区列便组成这个向量分区键的前缀分区列。分区函数：将分区列作为一个函数的输入参数，并将该函数的输出结果作为原始值参与路由计算，该函数被称为分区函数。分区裁剪...
实例规格
实例规格 实例规格包括分...列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能得到完整的结果。
基础概念
分片规格 即计算资源的规格 分片 即分列，列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能...
列存表MetaScan加速查询性能
AnalyticDB PostgreSQL版 支持列存储格式，具有较高的数据压缩能力，以及查询性能，但是当针对有较高过滤率的查询条件时，依然要做整列数据读取，或者建B-Tree索引，但是索引也有其的问题：一是列存表的索引无压缩，数据膨胀比较严重；...
Stream Load
strict mode模式的意思是对于导入过程中的列类型转换进行严格过滤。严格过滤的策略如下：对于列类型转换来说，如果strict mode为true，则错误数据将被filter。这里的错误数据是指原始数据并不为空值，在参与列类型转换后结果为空值的这一类...
CREATE TABLE
当聚集索引键涉及多个列时，数据会先根据第一个列的值排序，在第一个列的值相同时，按第二个列的值进行次级排序。所以 CLUSTERED KEY index(id,name)与 CLUSTERED KEY index(name,id)是不同的聚集索引。如果字段值较长，例如长达十几KB或几...
生成列
本文介绍了生成列的相关内容。简介 生成的列是一个特殊的列，它总是从其他列计算而来。因此说，它对于列就像视图对于表一样。生成列有两种：存储列和虚拟列。存储生成列在写入（插入或更新）时计算，并且像普通列一样占用存储空间。虚拟...
列存索引常见问题
使用 ALTER TABLE 语句为现有表动态添加列索引后，列索引的构建是在只读列存节点异步完成的，通过连接开启行存/列存分流的集群地址或者直连列存节点，可以查询 INFORMATION_SCHEMA.IMCI_INDEXES 表以获得列索引的构建状态，只有 COMMITTED ...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了系统视图，您可以使用系统视图来查看分区表的结构信息。PolarDB PostgreSQL版...column_name 分区键列的名称.column_position 该列在子分区键中的位置（第一列的列位置为1，第二列的列位置为2.）。
如何使用预定义列
预定义列是指在数据表上预先定义一些非主键列以及其类型。本文介绍如何使用预定义列。重要 单个数据表默认最大支持添加32个预定义列。如果不满足使用需求，请 提交工单 申请调整。如果要使用二级索引，您需要通过如下方式为数据表添加预定...
多元索引虚拟列
数据类型映射 表中数据类型 多元索引虚拟列数据类型 SQL数据类型 多元索引虚拟列在表中无对应的列，只有虚拟列对应的原始列在表中有对应的列。多元索引数据类型和数据表数据类型映射请参见 数据类型映射。Keyword MEDIUMTEXT Text ...
管理列映射
通过开源客户端使用搜索索引需要将宽表的数据同步至索引表，同步的方法是建立宽表和索引表的列映射，列映射配置完成后，需要对列映射进行管理操作，包括创建列映射、查看列映射、增加列映射、删除列映射。前提条件 已安装Java环境，要求...
通配符列
通配符列是指列名由通配符组成的列，多用于模糊匹配、动态列写入等场景，可以更灵活地匹配和查找目标列。在Lindorm宽表引擎中使用通配符列，可以满足多数据类型动态写入的需求。本文介绍通配符列的使用限制及使用方法。背景信息 在大数据量...
二级索引简介
在创建数据表时预先定义一些列（称为预定义列）后，您可以对任意预定义列和数据表主键列进行索引，指定数据表的若干个预定义列作为索引表属性列。索引表中也可以不包含任何属性列。当指定数据表的若干个预定义列作为索引表属性列时，读取...
主键列自增
设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。特点 主键列自增具有如下特点：自增列的值在分区键级别唯一且严格递增，但不保证连续。自增列的...
虚拟列
数据表中字段类型 虚拟列字段类型 String Keyword（含数组）String Text（含数组）String Long（含数组）String Double（含数组）String Geo-point（含数组）Long Keyword Long Text Double Keyword Double Text 虚拟列目前仅支持用在查询...
通用限制
操作限制 操作 限制值 说明 一次请求写入的属性列的个数 1024列 使用PutRow、UpdateRow或BatchWriteRow接口操作时，单行写入的属性列的个数不能超过1024列。读请求中columns_to_get参数的列的个数 0~128个 读请求一行数据中获取的列的最大...
- 产品推荐
- 这些文档可能帮助您