HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
RIGHT_SHIFT
使用场景 当拆分键大部分键值的低位部分区分度比较低而高位部分区分度比较高时，则适用于通过此拆分函数提高散列结果的均匀度。例如有4个拆分键的键值，分别为0x0100、0x0200、0x0300和0x0400，这4个值的第8位部分都是0。通常一些业务后N位...
RIGHT_SHIFT
使用场景 当拆分键的大部分的键值的低位部分区分度比较低而高位部分区分度比较高时，则适用于通过此拆分函数提高散列结果的均匀度。例如有4个拆分键的键值，分别为 0x0100、0x0200、0x0300 和 0x0400，这4个值的第8位部分都是0。通常一些...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
数据类型
String类型只能用在Value列，不能用在Key列和分区分桶列。HLL/HLL是模糊去重，在数据量大的情况性能优于Count Distinct。HLL的误差通常在1%左右，有时会达到2%。HLL不能作为Key列使用，建表时配合聚合类型为HLL_UNION。HLL类型不需要指定...
如何设计宽表主键
散列的目的是将数据分散到不同的分区，不至于产生热点使某一台服务器终止，其他服务器空闲，充分发挥分布式和并发的优势。最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为...
DBMS_UTILITY
DEPENDENCIES ON public.EMP-*TABLE public.EMP()*CONSTRAINT c public.emp()*CONSTRAINT f public.emp()*CONSTRAINT p public.emp()*TYPE public.emp()*CONSTRAINT c public.emp()*CONSTRAINT f public.jobhist()*VIEW..._VALUE 可使用GET...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版 会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终映射到同一分区...
玄武分析型存储
同时索引的性能主要受数据分布特征影响，包括：cardinality（散列程度），范围查询的记录数/表记录数。在某些情况下，例如 age>0 and age这种查询走索引的开销反而比扫描高。因此玄武基于CBO智能选择索引或扫描。多种索引类型多路归并查找...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
如何选择二级索引和多元索引
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。多元索引：一个多元索引是一系列数据结构的组合，其中的每一列都支持建立倒排索引等结构。查询数据时可以按照其中任意一列进行排序。一个多元索引...
标准化批预测
无 标准化训练 是 预测输入数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 参数设置 输出结果列列名数组 可选，默认情况下预测结果列替换原始输入列内容，填写时需要与训练时选择的列数保持一致，不同列用半角逗号隔...
同步对象配置说明
待同步的表在目标实例中映射的别名","FilterCondition":"where condition","PrimaryKey":"待同步表的主键列，多列用逗号分隔","PartKey":"待同步表的分布列，多列用逗号分隔","ColumnIncludes":[{"ColumnName":"待同步表中需同步的列名",...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
迁移对象配置说明
NewTableName":"待迁移的表在目标实例中映射的别名","FilterCondition":"where condition","PrimaryKey":"待迁移表的主键列，多列用逗号分隔","PartKey":"待迁移表的分布列，多列用逗号分隔","ColumnIncludes":[{"ColumnName":"待迁移表中...
通过控制台使用二级索引
二级索引相当于把数据表的主键查询能力扩展到不同的列，使用二级索引能加快数据查询的效率。设置预定义列后，您可以在创建二级索引时将预定义列作为索引表的索引列或属性列。创建二级索引后，您可以使用二级索引进行数据查询。前提条件 已...
新增脱敏算法
系统内置5种脱敏算法：哈希：MD5：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值。SHA1：一种密码散列数，可以生成一个被称为消息摘要的160位（20字节）散列值。SHA256：使用的哈希值长度是256位。HMAC：基于Hash...
列存索引常见问题
使用 ALTER TABLE 语句为现有表动态添加列索引后，列索引的构建是在只读列存节点异步完成的，通过连接开启行存/列存分流的集群地址或者直连列存节点，可以查询 INFORMATION_SCHEMA.IMCI_INDEXES 表以获得列索引的构建状态，只有 COMMITTED ...
VALUES
不需要为所有的列用 AS 子句指定名称，但是那样做是一种好习惯（在PolarDB中，VALUES 的默认列名是 column1、column2 等，但在其他数据库系统中可能会不同）。当在 INSERT 中使用 VALUES 时，值都会被自动地强制为相应目标列的数据类型。当...
字典编码（公测）
本文以TPC-H的 nation 表为例，在使用Beam存储表的情况下，通过 compresstype='gdict' 指定表级别使用字典编码压缩，n_name 和 n_comment 两列都会用字典编码进行压缩，示例如下。CREATE TABLE NATION(n_nationkey integer NOT NULL,n_name...
读取数据
重要 如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。读取单行数据 调用 GetRow 接口读取一行数据。适用于能确定完整主键且要读取行数较少的场景。读取单行数据时，您可以配置如下条件过滤所需数据。...
CREATE TABLE（AUTO模式）
参数说明 参数 说明 CHARSET|CHARACTER SET 指定表中列的默认字符集，可使用字符集如下：utf8 utf8mb4 gbk COLLATE 指定表中列的默认字符序，可使用字符集如下：utf8_bin utf8_general_ci utf8_unicode_ci gbk_bin gbk_chinese_ci utf8mb4_...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
表表达式
然后，为 T1 中每一个无法在连接条件上匹配 T2 里任何一行的行返回一个连接行，该连接行中 T2 的列用空值补齐。因此，生成的连接表里为来自 T1 的每一行都至少包含一行。RIGHT OUTER JOIN 首先，执行一次内连接。然后，为 T2 中每一个无法...
表表达式
然后，为 T1 中每一个无法在连接条件上匹配 T2 里任何一行的行返回一个连接行，该连接行中 T2 的列用空值补齐。因此，生成的连接表里为来自 T1 的每一行都至少包含一行。RIGHT OUTER JOIN 首先，执行一次内连接。然后，为 T2 中每一个无法...
通过外表导入至数仓版
示例：hdfs:/172.17.*.*:9000/adb/hdfs_import_test_csv_data/hdfs_import_test_data.csv partition_column 选填 定义外表的分区列，用英文逗号（,）切分各列。定义分区列的方法，请参见 创建带分区的HDFS外表。compress_type 定义数据文件...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
计算成本控制
设置后，在Map中读取到的Record就只有c1，c2列，如果之前是使用列名获取Record数据，不会有影响，而用下标获取的需要注意这个变化。避免资源重复读取 资源的读取尽量放置到Setup阶段读取，避免资源多次读取的性能损失，另外系统也有64次...
配置自定义业务监控
要了解 日志筛选 对话框左下方的 使用列值翻译 功能使用方法，查看 列值翻译。填写 白名单值。说明：同一个列值位的白名单，支持多个值的选取，可以用逗号（,）分隔，如 aaaa,bbbb,cccc。多个 白名单筛选列 之间的关系为 且。步骤 4：设置...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
列存索引技术架构介绍
列式存储由于有更好的IO效率（压缩、DataSkipping、列裁剪）以及CPU计算效率（Cache Friendly），因此要达到最极致的分析性能必须使用列式存储，而列式存储中由于索引稀疏导致索引精准度问题决定了它不可能成为TP场景的存储格式。...
约束
要为一组列定义一个唯一约束，把它写作一个表级约束，列名用逗号分隔：CREATE TABLE example(a integer,b integer,c integer,UNIQUE(a,c));这指定这些列的组合值在整个表的范围内是唯一的，但其中任意一列的值并不需要是（一般也不是）唯一...
列存索引
使用列存索引 创建列存索引可以增强宽表海量数据的分析计算能力，您可以在SELECT查询语句中指定Hint/*+_use_ldps_*/，将查询请求路由至计算引擎执行并使用列存索引加速查询，从而提升大数据计算的效率。示例一：大数据统计 SELECT/*+_use_...
- 产品推荐
- 这些文档可能帮助您