一级分区的规划和设计（2.0版）
本章节介绍一级分区表的规划和设计，其中主要是一级分区列的选取。AnalyticDB MySQL 2.0一级分区表采用HASH分区，可指定任意一列（不支持多列）作为分区列。HASH分区通过标准CRC算法计算出CRC值，并将CRC值与分区数作模计算，得出每条记录...
何时选择虚拟列分区
虚拟列分区可以对表达式进行分区，该表达式可能使用来自其他列的数据，并使用这些列进行计算。虚拟列分区支持所有分区类型。如果查询条件不是某一个列上的原始数据，而是经过计算过的，又不想添加一个单独的列来存储计算过的正确值，可以...
创建分区
RANGE 分区、LIST 分区、HASH 分区支持函数分区键（分区键为表达式或函数）和列分区键（分区键为字段），KEY 分区仅支持列分区键。支持指定 PARTITIONS number 和 SUBPARTITIONS number。不支持的范围 创建分区时，不支持创建 LINEAR HASH ...
KEY
KEY分区支持多列分区字段。KEY分区支持INT类型、字符类型、DATE类型、TIME类型、DATETIME类型。KEY分区支持扩展类型LINEAR KEY。示例 KEY类型的使用示例：CREATE TABLE sales_key(s_id varchar(20),dept_no INT,part_no INT,country ...
自定义分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，忽略该 option。指定 hash 一级分区数量 指定 hash 一级分区数量 hash_partitions_by_quantity 的语法如下：PARTITIONS hash_partition_...
LIST
LIST COLUMNS支持多列分区键。LIST COLUMNS支持多种类型的分区键，包括INT类型、字符类型、DATE类型、DATETIME等类型。示例 LIST类型的使用示例：CREATE TABLE sales_list(dept_no INT,part_no INT,country varchar(20),date DATE,amount ...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版 会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终映射到同一分区...
分区表索引
当基础表中的分区被添加、删除、合并或拆分时，或者当散列分区或子分区被添加或合并时，PolarDB PostgreSQL版（兼容Oracle）会自动维护索引分区。如果分区列构成索引列的子集，则可以创建UNIQUE本地索引，从而保证具有相同索引键的行始终...
RANGE
RANGE COLUMNS支持多列分区键；RANGE COLUMNS支持多种类型的分区键，包括INT类型、字符类型、DATE类型、DATETIME等类型。示例 RANGE类型的使用示例：CREATE TABLE sales_range(dept_no INT,part_no INT,country varchar(20),date DATE,...
创建分区表
分区表与OSS目录的关系 在DLA中，可以将存储在OSS中的目录或文件映射成一张分区表，表中的数据是OSS的文件内容，分区列对应OSS中的目录，该目录需遵守以下命名规则：分区列对应表的LOCATION下的一个子目录，目录的命名规则为 分区列名=分区...
最佳实践
遵循以下两个经验法则来确定要按哪个分区进行分区：如果列的基数很高，请不要使用该列进行分区。例如，如果按列进行分区，userId并且可以有1M个不同的用户ID，则这是一个不好的分区策略。每个分区中的数据量：如果您希望该分区中的数据至少...
通过日志服务迁移日志数据至MaxCompute
说明 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列（数据列或分区列），不支持字段冗余，同一个字段名第二次使用时其投递的值为null，如果null出现在分区列会导致数据无法被投递。MaxCompute分区列 按顺序左边填写与...
一级分区
不支持指定 partitioning_storage_clause 属性定义散列分区以及范围、散列和列表子分区指定存储特征，会忽略该 option。不支持 STORE IN(tablespace[,tablespace].)指定空间，会忽略该 option。不支持 table_compression、index_...
Iceberg连接器
例如，下表定义了PARQUET格式的文件，由c1和c2列分区，文件系统地址为/var/my_tables/test_table。CREATE TABLE test_table(c1 integer,c2 date,c3 double)WITH(format='PARQUET',partitioning=ARRAY['c1','c2'],location='/var/my_tables/...
CREATE TABLE（AUTO模式）
分区函数：将分区列作为一个函数的输入参数，并将该函数的输出结果作为原始值参与路由计算，该函数被称为分区函数。分区裁剪：根据分区定义及查询条件，最大限度地过滤不需要扫描的分区的查询优化手段。热点分裂：当向量分区键的前缀分区列...
日志投递MaxCompute后，如何检查数据完整性
使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time字段计算得到，由日志的真实时间按照时间格式字符串向下取整得出。其中，日志真实时间既不是投递数据的时间，也不是日志写入服务端时间...
AUTO模式数据库与DRDS模式数据库
索引不指定分区列时，将自动索引列分区。不支持。负载均衡调度 支持。不支持。热点散列能力 支持。不支持。分区策略 Hash分区&Key分区 支持。采用一致性哈希的路由算法，并支持热点散列。支持采用按分区数取模的路由算法，不支持热点散列。...
Jindo sql命令介绍
oss_access_log 如果开启分区表模式，允许使用分区列进行分区过滤。oss_access_log表用作OSS访问日志。参数 描述 Remote_IP 请求者的IP地址。Reserved 保留字段，固定值为-。Reserved1 保留字段，固定值为-。Time OSS收到请求的时间。...
Jindo sql命令介绍
oss_access_log 如果开启分区表模式，允许使用分区列进行分区过滤。oss_access_log表用作OSS访问日志。参数 描述 Remote_IP 请求者的IP地址。Reserved 保留字段，固定值为-。Reserved1 保留字段，固定值为-。Time OSS收到请求的时间。...
Jindo sql命令介绍
oss_access_log 如果开启分区表模式，允许使用分区列进行分区过滤。oss_access_log表用作OSS访问日志。参数 描述 Remote_IP 请求者的IP地址。Reserved 保留字段，固定值为-。Reserved1 保留字段，固定值为-。Time OSS收到请求的时间。...
投递日志到MaxCompute（旧版）
MaxCompute数据列、分区列与日志服务字段的映射关系示例如下所示，其中日志服务保留字段详情请参见 保留字段。MaxCompute 列类型 列名（MaxCompute）数据类型（MaxCompute）日志字段名称（日志服务）字段类型（日志服务）字段说明 数据列 ...
基本数据库对象及概念
当有新的二级分区数据被加载时，分析型数据库MySQL版会以二级分区列的键值排序，删除最小键值的二级分区。为什么要限制二级分区数？过多的二级分区会占用计算节点大量的内存，导致系统容易不稳定。所以我们一般建议二级分区数不要超过90个...
分区裁剪
云原生数据仓库AnalyticDB PostgreSQL版 支持按列分区。分区表能够将大的事实表分解成多个小表，根据查询条件自动跳过不满足条件的分区数据，从而提高查询效率。分区裁剪（Partition Pruning）是数据库分区表中常用的性能优化手段。使用...
创建TTL表
如果需要将t_order的物理表按照gmt_modified列进行时间分区，每个分区间隔一个月，每个分区12个月后过期，提前创建3个分区，创建语法如下：CREATE TABLE t_order(id bigint NOT NULL AUTO_INCREMENT,gmt_modified DATETIME NOT NULL,...
创建MaxCompute投递任务（新版）
MaxCompute数据列、分区列与日志服务字段的映射关系示例如下所示，其中日志服务保留字段详情请参见 保留字段。MaxCompute列类型 列名（MaxCompute）数据类型（MaxCompute）日志字段名称（日志服务）字段类型（日志服务）字段说明 数据列 ...
通过外表导入至数仓版
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
Hologres结果表
创建分区表时，需要显示指定的分区列，分区列的类型仅支持 text 和 int4。如果设置了主键，分区列必须为主键的一部分。创建分区子表时，子表分区列的值必须为固定值。写入分区子表的数据对应的分区列值，必须严格与创建子表时定义的值匹配...
导出至OSS
分区表写出数据时，数据文件内不包含分区列的数据，分区列的数据信息以OSS目录的形式展现。重要 分区外表不支持导出到OSS单文件。例如：分区表中定义了2个分区列，3个普通列。其中一级分区名称为pcol1，分区数值为1；二级分区名称为pcol2，...
与标准SQL的主要区别及解决方法
DDL与DML的区别及解决方法 主要区别 问题现象 解决办法 表结构 不能修改分区列列名，只能修改分区列对应的值。解决方案请参见 分区和分区列的区别是什么？支持增加列，但是不支持删除列及修改列的数据类型。解决方案请参见 如何修改列的...
ePQ支持分区表查询
ePQ暂不支持对具有多列分区键的分区表进行并行查询。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.11.0及以上）说明 您可通过如下语句查看的内核小版本的版本号：PostgreSQL 11 show...
ePQ支持分区表查询
ePQ暂不支持对具有多列分区键的分区表进行并行查询。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.11.0及以上）说明 您可通过如下语句查看 PolarDB ...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
TableModel
FieldSchemaModel 分区列信息。Parameters object 参数。string 参数的值。key:value Sd StorageDescriptorModel 存储描述信息。CreateTime string 创建时间。2023-01-05 13:17:55 ViewOriginalText string 创建视图时输入的 SQL。...
主键与唯一键（AUTO模式）
示例4：手动分区表中的Local主键 表list_tbl的分区列city未被包含在主键列中，所以该表的主键是Local主键，只能保证分区内唯一，无法保证全局唯一。CREATE TABLE list_tbl(order_id bigint,city varchar(50),name text,PRIMARY KEY(order_...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
导出至HDFS
附录2：数据导出语法（分区外表）分区外表在语法中加入 PARTITION 字段导出数据，您还可以通过指定 PARTITION 字段中的分区列和分区值来确定是否使用静态或者动态分区。方式一：您可以使用 INSERT INTO PARTITION 语法往带分区的外表中批量...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
二级分区表（2.0版）
参数 绝大多数参数和创建普通表语法中介绍一样，详情请参见 CREATE TABLE，二级分区表多了两个参数：subpart_col：二级分区列，该列不在定义的列中需要重新定义，类型必须为long。available_partition_num：二级分区数，即为最大保留的二级...
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
- 产品推荐
- 这些文档可能帮助您