AUTO模式数据库与DRDS模式数据库

自动分区与手动分区 自动分区 自动分区,指创建表时不指定任何分区定义(如分区键、分区策略等),PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区,而DRDS模式数据库不支持。示例如下:使用...

Dataphin资产质量调度日志中调度执行的分区什么和...

详细信息 Dataphin资产质量调度日志中调度执行的分区什么和手动执行分区不一致?原因如下:代码检查触发是基于代码中的分区日期来触发的。手动执行是按照执行时间来触发的。如果分区表达式为 bizdate=${yyyyMMdd} 那么调度会识别为T-1的...

上下游存储

作业启动位点设置了2019-10-11 00:00:00,为什么启动位点前的分区也会被全量MaxCompute源表读取?增量MaxCompute源表监听到新分区时,如果该分区还有数据没有写完,如何处理?MaxCompute连接器运行报错:ErrorMessage=Authorization Failed...

新建表

由于在 MySQL 模式和 Oracle 模式下分区的定义不同,因此以下信息在不同模式下的意义略有不同,请根据所选的分区方法按其定义指定以下信息:信息项 说明 分区方法 指定分区方法。MySQL 模式和 Oracle 模式下支持的分区方法不同。Range 分区...

使用说明

分区表一定要指定上传的分区,多级分区一定要指定到末级分区。更多信息请参见 Upload。Download:下载MaxCompute表或指定Instance执行结果至本地。只支持下载到单个文件,每一次下载只支持下载一张表或一个分区到一个文件。分区表一定要...

何时使用Range-Range分区

Range-Range分区是指一级分区是Range分区,二级分区也是Range分区的组合分区类型。Range-Range分区适用于在多个时间维度上存储与时间相关的数据应用程序,这些应用程序通常不使用某个特定的时间维度来访问数据,而是使用另一个时间维度,...

消息队列Kafka

开启动态分区发现后,Kafka Source 可以自动地发现新增的分区并自动读取对应分区上的数据。在topic-pattern模式下,不仅读取已有topic的新增分区数据,也会读取符合正则匹配的新增topic的所有分区数据。结果表 参数 说明 数据类型 是否必填...

分区

由于分区表及其分区组成的分区层次仍然是一种继承层次,所以继承的普通规则也适用,不过有一些例外,尤其是:分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...

创建OSS外部表

补全OSS外部表分区数据语法 当您创建的OSS外部表为分区表时,需要额外执行引入分区数据的操作。MaxCompute会根据您创建OSS外部表时指定的目录,自动补全OSS外部表的分区数据。语法格式如下。(推荐)格式一:执行如下命令后,MaxCompute会...

通过外表导入至数仓版

说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列(本例中的p1、p2、p3)且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明(本例中p1为第1级分区,p2为第2级分区,p3为第3级分区)。列定义中必须定义...

MaxCompute(原ODPS)数据源配置

2:分区过滤规则,支持指定多个分区字段的值,不同分区字段逗号分隔,如:pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1,pt2=2,pt3=3的所有分区【多分区目前不支持function功能,即不支持%Y%m%d|-1 days这样的,单分区是可以支持的】。...

MaxCompute(原ODPS)数据源配置

2:分区过滤规则,支持指定多个分区字段的值,不同分区字段逗号分隔,如:pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1,pt2=2,pt3=3的所有分区【多分区目前不支持function功能,即不支持%Y%m%d|-1 days这样的,单分区是可以支持的】。...

Hive数据源

分区信息:缓存每个分区的信息,如分区数据格式,分区存储位置、分区值等。文件信息:缓存每个分区所对应的文件信息,如文件路径位置等。以上缓存信息不会持久化到SelectDB中,当SelectDB进行主备切换、FE节点重启等操作时,都可能导致缓存...

变更表类型及分区策略(AUTO模式)

本文介绍了变更表类型(即在单表、广播表和分区表三者间进行相互转换)及分区策略(包括拆分函数或分区列)的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库(请参见 CREATE ...

常见问题

什么额外增加分区要收费?我使用的Connector组件如何计费?客户端报错 使用云消息队列 Kafka 版时客户端的报错及解决方案 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息 网络问题 无法ping通云消息队列 ...

INTERVAL RANGE简介

INTERVAL RANGE是RANGE分区的扩展,当新插入的数据超过现有分区的范围时,该分区允许数据库自动创建新分区。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...

DDL操作常见问题

本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗?例如MySQL中的DUAL表?MaxCompute的表有无索引?如何修改表的Hash Clustering属性?如何将非分区表修改为分区表?因误操作删除...

何时选择RANGE分区

RANGE分区用边界定义了表或索引中分区的范围和分区间的顺序。RANGE分区通常用于在DATE类型的列上按时间间隔组织数据。因此,大多数访问RANGE分区的SQL语句都关注时间范围。这方面的一个例子是类似于“从特定时间段选择数据”的SQL语句。在...

CREATE TABLE

使用范围或哈希分区时,分区键可以包含多个列或表达式(最多 32 个,但在构建 PolarDB时可以更改此限制),但对于列表分区分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类,而哈希分区需要哈希运算符类。如果没有...

分区表常见问题

本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容,请搜索钉钉群号加群进行咨询。钉钉群号:24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL,同时做了功能和...

版本发布说明

修复CoHash的Right分区函数计算结果不正确导致的分区路由问题,发布日期:2023-12-27 大版本:V5.4.18 小版本:17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程,避免一次...

大数据计算服务MaxCompute

增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区,读取新分区时要求分区内数据已写入完毕,详情参见 增量MaxCompute源表监听到新分区时,如果该分区还有数据没有写完,如何处理?通过startPartition...

概述

PolarDB MySQL版 支持在分区表上创建部分索引(Partial Index),即索引可以只创建在分区表的某一个或多个分区上,而不需要在所有分区上同时创建索引。您可以在各个分区上创建不同的索引,以满足对不同分区的查询要求,同时可以节省大量的...

概述

为此,PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力,具体的分区管理能力包括以下几种:分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...

存储成本优化

本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言,有三个关键点:合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...

原理

本文概述了分区表模块的主要实现原理,便于用户了解分区表在底层实现时的一些细节,从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...

pg_partitioned_table

目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下:h:哈希分区表。l:列表分区表。r:范围分区表。partnatts int2 分区...

分区表索引

分区表索引类型 PolarDB PostgreSQL版 支持分区上的两种索引类型:本地索引 在分区表本地索引(Local Index)中,本地索引与分区表的分区一一对应,具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个分区相关联,因此...

ADD PARTITION

本文档介绍了将分区和子分区添加到现有分区表中的方法。语法 ALTER TABLE…ADD PARTITION 命令用于将分区和子分区添加到现有的分区表中。ALTER TABLE table_name ADD PARTITION partition_definition;partition_definition 为:{list_...

在LIST或RANGE 分区表中处理偏离值

定义DEFAULT 分区 分区DEFAULT会捕获那些在LIST分区(或子分区)表中不适用于任何其他分区的记录。如果不包括一个DEFAULT规则,那么任何不匹配分区约束中的其中一个值的记录都会导致错误。每个LIST分区或子分区可能会有自己的DEFAULT规则。...

Dataphin管道任务是否支持数据数仓的动态分区

问题原因 静态分区与动态分区分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区;目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2

ACID语义

数据对象:指持有实际数据的对象,例如非分区表、分区。INTO类作业:指INSERT INTO、DYNAMIC INSERT INTO等包含关键字INTO的SQL作业。OVERWRITE类作业:指INSERT OVERWRITE、DYNAMIC INSERT OVERWRITE等包含关键字OVERWRITE的SQL作业。...

读数据表

本文介绍读数据表算子的...最新分区(仅MaxCompute):在运行时,读取分区表的一级分区分区值最大的分区里的数据,分区最大值按字母排序。区间:读取“开始分区”到“结束分区”之间的所有分区的数据。自定义:读取指定单个指定分区的数据。

分区表索引

分区表索引类型 PolarDB PostgreSQL版(兼容Oracle)支持分区上的两种索引类型:本地索引 在分区表本地索引(Local Index)中,本地索引与分区表的分区一一对应,具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个...

分区迁移

注意事项 本文要求 PolarDB-X 实例版本必须为5.4.14-16539836及以上...场景 4:目标分区是非模板化的二级分区 和场景3不一样,当二级分区是非模板化分区时,迁移二级分区就是迁移具体的分区,语法请参见 场景3:目标分区是模板化的二级分区

Quick Audience标签导入任务如果是分区表做IDMapping...

概述 Quick Audience标签导入任务如果是分区表做IDMapping时是否会把分区字段作为关联条件。详细信息 分区表,IDMapping的时候只会取当天分区的数据进行Mapping,不存在是否会把时间分区字段作为关联条件的场景。适用于 Quick Audience

ALTER TABLE…MOVE PARTITION

使用ALTER TABLE…MOVE PARTITION命令可将分区或子分区移动到不同的表空间中。语法介绍 ALTER TABLE…MOVE PARTITION命令有两种形式:第一种形式是将分区移动到一个新的表空间中:ALTER TABLE table_name MOVE PARTITION partition_name ...

概述

组合分区提供了二维分区的优点。从性能的角度来看,您可以根据SQL语句在一个或两个维度上利用分区修剪。二级分区允许将表、索引和索引组织的表细分为更小的块,从而能够以更细的粒度级别管理和访问这些数据库对象。例如可以为分区实现一个...

COALESCE PARTITION

本文档介绍了减少基于HASH和KEY分区分区数和对应分区的所有子分区,并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区分区数和对应分区的所有子分区,并将数据合并到其他...

全局二级索引(GSI)

局部索引单个分区的数据由分区表单个分区的数据构建而成,且局部索引的分区分区表的分区一一对应,所以,局部索引的索引数据只能保证在单个分区内有序,如果您想创建局部唯一索引,则索引字段必须包含全部的分区键。当分区表上只存在局部...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储 金融分布式架构
新人特惠 爆款特惠 最新活动 免费试用