表分区定义

AnalyticDB PostgreSQL版 支持将大表定义为分区表,当您进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。支持的表分区类型 范围(RANGE)分区:基于一个数值型范围划分数据,例如按日期区间定义。值(LIST)...

全局索引

全局索引(GLOBAL INDEX)是分区表上的一种索引技术,可以创建在分区表的非分区键上,也支持提供唯一约束。前提条件 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 14(内核小版本14.6.4.0及以上)说明 您可通过如下语句查看 ...

偏分析场景的实践和优化

理论上表的分区数量越多越好,这样多个分区表可以做并行扫描。存储层更易做到水平扩展,存储千万条甚至上亿条数据。实际使用中建议一个分区表的数量在500w~5000w之间。选择合适的分区键 PolarDB-X 默认按照主键做分拆,主要为了降低分布式...

配置示例:MaxCompute

配置分区表达式 数据质量通过分区表达式来确定需要配置的规则:如果您的检查对象为非分区表可以配置分区表达式为 NOTAPARTITIONTABLE。如果您的检查对象为分区表可以配置为业务日期的表达式(例如$[yyyymmdd-1])。说明 数据质量规则中...

设计规范

依据数据量、数据集成特点定义分区表或非分区表。定义字段或分区字段。创建表和转换表。明确导入数据场景的相关因素(包括批量数据写入、流式数据写入、周期性条式数据插入)。定义表和分区的生命周期。说明 创建完表后,您可以根据业务...

DDL操作常见问题

MaxCompute中的表可以分区分区表有分区列。您可以通过分区列创建分区。例如分区 ds=20150101,此处 ds 是一个分区列,而 ds=20150101 是一个分区。一张表的分区的数量是否越多越好?在MaxCompute中,一张表最多允许有60000个分区,同时每...

创建和管理自定义存储

物联网平台数据服务提供离线数据存储功能,支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源,可以作为数据解析、SQL分析任务的结果输出表,可以集成时序表数据到实时计算...

AnalyticDB PostgreSQL 7.0版使用分区外表

当查询语句的WHERE条件命中分区列时,分区表可以有效减少数据拉取量,从而提升查询的执行效率。与6.0版分区外表的区别 6.0版仅支持LIST分区,7.0版除了LIST分区外,还支持RANGE和HASH两种分区。相比较6.0版的分区外表语法,7.0版语法更加...

根据您所配置的分区没有匹配到源头中的分区

问题描述 Dataphin配置数据同步任务,报错“分区配置错误,根据您所配置的分区没有匹配到源头表中的分区...解决方案 配置同步任务时需要检查源头表的分区,使输入与输出的分区表可以相互匹配。适用于 Dataphin 说明:本文适用于同步任务模块。

分区表常见问题

什么分区表查询计划不准确?分区表查询计划不准确主要的原因是统计信息不准确,在8.0.2版本中已经针对这个问题了分区级别统计信息优化,建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区?一般情况下,每个分区是一个Innodb...

产品整体介绍

这些分区表可以是行存表,也可以是列存表,或者外表。比如业务上完全可以对最近需要写入的分区(Mar)使用行存表,过去已经归档的分区(Feb)使用列存表,出于降低成本考虑,也可以对较少查询的分区(Jan)使用OSS外表。数据库对象 ...

转换分区表

可以通过 ALTER TABLE 命令修改分区属性,实现普通表和RANGE分区表与INTERVAL RANGE分区表之间的相互转换。前提条件 集群版本需为 PolarDB MySQL版 8.0版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...

如何确定分区个数

说明 对于业务上有连接需求的表,创建分区表可以采用相同的分区结构,以方便连接。规划表结构时,需考虑业务增长场景下对分区表的要求。您可以通过以下命令来查看分区表中每个分区下大约有多少数据量:select*from mysql.innodb_table_...

ALTER PARTITION TABLE

ALTER PARTITION TABLE语句用于修改分区表。本文为您介绍ALTER PARTITION TABLE的用法。命令格式 Hologres支持以下3种修改分区表的操作。ALTER TABLE[IF EXISTS]table_name RENAME to new_table_name;ALTER TABLE[IF EXISTS]table_name ...

版本发布说明

修复AUTO模式数据库中分区表的分区列包含反引号字符时,创建表报错的问题。修复在扩缩容或者UGSI创建过程中,insert ignore(returning)可能导致数据校验不通过的问题。修复GSI和Local Index索引名重复的问题。修复创建UGSI时,如果索引名...

何时选择间隔(Interval)分区

例如,您可以创建一个INTERVAL RANGE分区表,该表分区范围为1个月且当前的转换点为2021年9月15日。如果您尝试为2021年12月10日插入数据,那么将创建2021年9月15日至12月15日所需的3个分区,并将数据插入该分区。下列情况下建议您使用间隔...

创建分区表

分区表与OSS目录的关系 在DLA中,可以将存储在OSS中的目录或文件映射成一张分区表,表中的数据是OSS的文件内容,分区列对应OSS中的目录,该目录需遵守以下命名规则:分区列对应表的LOCATION下的一个子目录,目录的命名规则为 分区列名=分区...

全局索引

全局索引(Global Index)是分区表上的一种索引技术,可以创建在分区表的非分区键上,也支持提供唯一约束。背景信息 分区表的Local Index,指每个分区都以一个Local Index分区,Local Index的分区规则和表的分区规则保持一致,因此Local ...

计划加速

这是因为分区表在优化器中的原理可以简单理解为:首先对每个分区生成最优的Plan,然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少,这个过程会很快,对于用户是无感知的;但是一旦达到一定规模的...

计划加速

这是因为分区表在优化器中的原理可以简单理解为:首先对每个分区生成最优的Plan,然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少,这个过程会很快,对于用户是无感知的;但是一旦达到一定规模的...

上下游存储

作业启动位点设置了2019-10-11 00:00:00,为什么启动位点前的分区也会被全量MaxCompute源读取?增量MaxCompute源监听到新分区时,如果该分区还有数据没有写完,如何处理?MaxCompute连接器运行报错:ErrorMessage=Authorization Failed...

迁移Hive分区数据到OSS-HDFS服务

指定-fullTable 时,则为移动整表,既可以是非分区表可以分区表。指定-c"<condition>"时,则提供了一个过滤条件,用来选择希望移动的分区,支持常见运算符,例如大于号(>)。例如,数据类型为String的分区ds,希望分区名大于 'd',则...

JindoTable MoveTo命令介绍

指定-fullTable 时,则为移动整表,既可以是非分区表可以分区表。指定-c"<condition>"时,则提供了一个过滤条件,用来选择希望移动的分区,支持常见运算符,例如大于号(>)。例如,数据类型为String的分区ds,希望分区名大于 'd',则...

JindoTable MoveTo命令介绍

指定-fullTable 时,则为移动整表,既可以是非分区表可以分区表。指定-c"<condition>"时,则提供了一个过滤条件,用来选择希望移动的分区,支持常见运算符,例如大于号(>)。例如,数据类型为String的分区ds,希望分区名大于 'd',则...

JindoTable MoveTo命令介绍

指定-fullTable 时,则为移动整表,既可以是非分区表可以分区表。指定-c"<condition>"时,则提供了一个过滤条件,用来选择希望移动的分区,支持常见运算符,例如大于号(>)。例如,数据类型为String的分区ds,希望分区名大于 'd',则...

通过SQL导出数据至MaxCompute

同时Hologres的分区表可以导入至MaxCompute的非分区表。MaxCompute写入服务器数量有限,建议您避开凌晨生产作业高峰期,以获得更佳性能。如果存在TIMESTAMPTZ类型的字段,字段的取值范围为1677-09-21 00:00:00到2262-04-12 00:00:00。...

分区合并

Range/Range column分区表分区合并 可以将两个或两个以上的多个相邻的分区合并成一个新分区级用法 假设表tb1的定义为:CREATE TABLE tb1(a int)PARTITION BY RANGE(a)(PARTITION p1 VALUES LESS THAN(20),PARTITION p2 VALUES LESS ...

块存储FAQ

使用了I/O优化实例和SSD云盘之后,Linux系统在分区挂载的时候为什么报错?普通云盘和SSD云盘添加挂载信息时需要注意什么?挂载和卸载云盘问题 什么是设备名(挂载点)?什么是独立云盘?一块云盘可以挂载到多台ECS实例上吗?购买了按量付费...

Tunnel命令常见问题

首先创建一个分区表user,分区关键字为dt,本例中MaxCompute客户端的安装路径为C:/odpscmd_public/bin/odpscmd.bat,您可以根据您的实际环境调整路径。dir=$(ls C:/userlog)/定义变量dir,为存放文件的文件夹下所有文件的名称。pt=0/变量...

创建INTERVAL RANGE分区

通过创建INTERVAL RANGE分区表可以由系统自动增加分区,避免数据不能及时插入。由于分区数量最多只能达到8192,自动增加分区的数量也会受限制。因此建议您配合分区表的生命周期管理解决方案使用,定期增加分区,同时定期将冷数据所在的...

原理

本文概述了分区表模块的主要实现原理,便于用户了解分区表在底层实现时的一些细节,从而能够更好地学习如何去使用分区表分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...

统计信息查看与分析

Hologres从 V1.3版本开始提供统计信息日志系统(hologres.hg_table_info)按日收集实例内的统计信息,帮助您对实例中的信息进行查看、分析,以便您可以根据这些信息采取优化措施。本文将会介绍在Hologres中如何查看统计信息并...

离线同步常见问题

读取MaxCompute(ODPS)数据时,添加一行注意事项 读取MaxCompute(ODPS)数据时,如何同步分区字段?读取MaxCompute(ODPS)数据时,如何同步多个分区数据?如何处理列名有关键字导致同步任务失败的情况?读取Loghub同步某字段有...

常见问题

什么系统system.materialize_mysql中sync_failed_tables字段不为空?如何处理报错:“Too many partitions for single INSERT block(more than 100)”?数据写入与查询 如何处理insert into select XXX内存超限报错?如何查询CPU使用量...

普通表转换为分区表

特殊场景下的普通表转换为分区表,如果按照时间RANGE分区,并且需要将所有数据放在一个历史分区中,可以将 普通表快速转换为RANGE分区表。语法 ALTER TABLE table_name PARTITION BY RANGE {(expr)|COLUMNS(column_list)}(partition_...

概述

同时,PolarDB 分区表相对于原生MySQL进行了性能增强,支持丰富的分区类型及组合,使您可以更加便捷、简单和高效的使用分区表分区表是将一个大的逻辑表,按照分区规则分割成多个小的物理表,大的逻辑表为分区表,小的物理表为分区,每...

全局二级索引(GSI)

使用全局二级索引可以实现透明分区表,即您可以像使用单表一样使用分区表,大大减少分区键对分区表的使用限制。说明 全局二级索引功能当前处于灰度发布阶段,如有需求,请前往 配额中心,根据 配额ID polardb_mysql_gsi 找到配额名称,在...

分区表简介

分区表特性 分区表相比于普通表的内部实现更加复杂,但是这一切对于用户而言是不需要感知的,分区表的管理与使用时与普通表相比也有些区别,更加清楚地了解分区表的特性,有利于用户可以正确高效地使用分区表。案例1:CREATE TABLE ...

分区表简介

分区表特性 分区表相比于普通表的内部实现更加复杂,但是这一切对于用户而言是不需要感知的,分区表的管理与使用时与普通表相比也有些区别,更加清楚地了解分区表的特性,有利于用户可以正确高效地使用分区表。案例1:CREATE TABLE ...

使用pg_pathman插件

相关视图和表 pg_pathman使用函数来维护分区表,并且创建了一些视图,可以查看分区表的状态,具体如下:pathman_config CREATE TABLE IF NOT EXISTS pathman_config(partrel REGCLASS NOT NULL PRIMARY KEY,-主表oid attname TEXT NOT NULL...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库Cassandra版 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储
新人特惠 爆款特惠 最新活动 免费试用