Dataphin中汇总逻辑表补数据生成SQL中事实逻辑表筛选...
概述 Dataphin中汇总逻辑表补数据时，生成的SQL中事实逻辑表筛选日期是最大分区（20230516），而不是补数据输入的业务日期（20230505）。详细信息 汇总逻辑表补数据生成的SQL中，具体分区是由事实逻辑表的“分区与生命周期”中设置的。该...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数...最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引（FULL TEXT）。
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数...最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引（FULL TEXT）。
维度和事实逻辑表物化配置
最大分区（MAX_PT）：最大分区保留了最新的全量快照数据，选择最大分区中的数据用于派生指标的计算，可缩短生命周期，节约存储资源。业务日期（Bizdate）：使用业务日期分区计算派生指标，可保障数据的强一致性，但需保留历史分区用于派生...
维度和事实逻辑表物化配置
最大分区（MAX_PT）：最大分区保留了最新的全量快照数据，选择最大分区中的数据用于派生指标的计算，可缩短生命周期，节约存储资源。业务日期（Bizdate）：使用业务日期分区计算派生指标，可保障数据的强一致性，但需保留历史分区用于派生...
初始化概述
分区格式介绍 数据盘支持主引导记录分区MBR（Master Boot Record）和全局分区表GPT（Globally Unique Identifier Partition Table）两种分区格式，二者说明如下：分区格式 最大分区容量 分区数量 分区说明 MBR 2 TiB MBR有以下分区形式：4...
MAX_PT
示例2：在多级分区场景，使用标准SQL实现获取最大分区下的数据。命令示例如下。select*from table where pt1=(select max(pt1)from table)and pt2=(select max(pt2)from table where pt1=(select max(pt1)from table));相关函数 MAX_PT函数...
读数据表
本文介绍读数据表算子的...最新分区（仅MaxCompute）：在运行时，读取分区表的一级分区中分区值最大的分区里的数据，分区最大值按字母排序。区间：读取“开始分区”到“结束分区”之间的所有分区的数据。自定义：读取指定单个指定分区的数据。
Kafka Connect
取值范围为[1,Kafka中Topic的最大分区数]。1 topics 当 Kafka参数配置 参数为 Sink Connect 时，该参数指定数据源Topic，不同Topic之间以半角逗号（,）进行分隔。sourceA,sourceB 其他选填参数，请参见 Kafka Connect Configs。以...
Kafka Connect
取值范围为[1,Kafka中Topic的最大分区数]。1 topics 当 Kafka参数配置 参数为 Sink Connect 时，该参数指定数据源Topic，不同Topic之间以半角逗号（,）进行分隔。sourceA,sourceB 其他选填参数，请参见 Kafka Connect Configs。以...
分区表常见问题
当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。建议单表数据量超过1 TB或者1亿行尽量使用分区表。分区表创建多少个分区比较合适？在满足分区不超过8192个的前提下，根据业务场景和数据量决定分区数...
表结构设计
重要 每张表中支持的最大分区数存在上限，因此分区表中的数据无法永久保留。关于分区数量限制的详情，请参见 使用限制。选择主键 主键可以作为每一条记录的唯一标识。您可以在创建表时，通过 PRIMARY KEY 来定义主键。更多详情，请参见 ...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
CREATE TABLE（AUTO模式）
分区裁剪：根据分区定义及查询条件，最大限度地过滤不需要扫描的分区的查询优化手段。热点分裂：当向量分区键的前缀分区列存在访问热点或分布不均衡时，允许使用下一个分区列对热点分区进行分裂，以达到负载均衡效果。物理分区：在DN节点有...
Hive连接器
hive.max-partitions-per-writers 每个writer的最大分区数。默认值为100。hive.max-partitions-per-scan 一次表扫描的最大分区数。默认值为100,000。hive.hdfs.authentication.type HDFS身份验证类型。取值如下：NONE（默认值）：表示普通...
MaxCompute数据源
此外，您还可以根据实际需求设置分区数据的获取条件：如果您需要指定最大分区，则可以添加/*query*/ds=(select MAX(ds)from DataXODPSReaderPPR)配置信息。如果需要按条件过滤，则可以添加相关条件/*query*/pt+表达式 配置。例如/*query*/...
ODPS-0130071
数据插入表是一个分区表，其中有m个分区字段，但是插入数据SQL里只有n个分区列，导致数据写入找不到分区报错 解决方案 建议修改插入数据SQL，对齐分区字段。示例-创建表 create table if not exists mf_sale_detail(shop_name string,...
大数据计算服务MaxCompute
源表独有 参数 说明 数据类型 是否必填 默认值 备注 maxPartitionCount 可以读取的最大分区数量。Integer 否 100 如果读取的分区数量超过了该参数，则会出现报错 The number of matched partitions exceeds the default limit。重要 由于...
使用Flink写入数据（Transaction Table2.0）
其中使用upsert时支持以下两种数据写入流程：按照Primary Key进行分组 按照分区字段进行分组 说明 若分区数量过多，您可以按照分区字段进行分组，但使用该流程可能导致数据倾斜。您可在配置Flink数据写入MaxCompute时，通过设置Flink ...
费用优化
优化配置 配置可以从以下两个方面进行优化：分区个数 一个分区最大可以处理5M/s的数据。只有readwrite的分区会收费。请调整分区个数，使其正好能处理5M/s的数据。减少分区个数请合并分区。Logstore 数据保存周期 针对您对日志的查询、存储...
按照Topic规格购买的实例，如何转换为按照分区规格...
转换规则如下：存量购买的Topic数，将转换为等价的分区数，但不会超过允许购买的分区最大值，转换后的总分区数计算公式如下：总分区数量=规格内预包含分区数+增购Topic数×转换倍数 计算结果向上取整。例如：您购买了Topic数量为60、流量...
手动创建分区表（AUTO模式）
分区类型介绍 一级分区 PolarDB-X 的一级分区支持四大类型7种分区策略（Hash/Key/RangeColumns/Range/List/List Columns）：Hash类型：基于用户指定的分区列或分区函数表达式的值，使用内置的 一致性哈希算法 计算其哈希值并进行分区路由的...
Node Labels特性使用
配置default队列在DEMO分区最大容量，可选，默认为100-><name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name><value>100</value></property>!配置default队列作业容器请求默认提交分区，可选...
物化视图操作
指定表数据存储压缩策略"enable_auto_substitute"="true",-指定当分区不存在时是否转化视图来查询"enable_auto_refresh"="true",-指定是否开启自动刷新"refresh_interval_minutes"="120",-指定刷新时间间隔"only_refresh_max_pt"="true"-...
订阅者最佳实践
当从非法位点拉取消息时（例如某个分区最大位点是10，但客户端却从11开始拉取消息）。Java客户端可以通过 auto.offset.reset 来配置重置策略，主要有三种策略：latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何...
ALTER（2.0版）
修改二级分区数 最大二级分区数可以在建表后进行修改。语法 ALTER TABLE table_name subpartition_available_partition_num=N;参数 N为新的二级分区数。示例 TRADE表以天为二级分区单位，增量数据保存时间由30天改为60天。ALTER TABLE ...
数据存储冷热分离
如图所示，当新增分区20201110之后，20201110为当前最大的分区，应该放在热分区中，但是当前热分区数已满5，数据存储冷热分离策略会从热分区中选一个最小的分区20201105迁移到冷分区，并把20201110放在热分区中。变更热分区数量对冷热分区...
使用阿里云Flink（流式数据传输）
动态分区模式会为每个分区分配一个缓冲区，缓冲区大小通过 flush_batch_size 参数控制，所以动态分区模式最大会占用分区数量×缓冲区大小的内存。例如100个分区，每个分区1 MB，则最大占用内存为100 MB。否 默认值为100。系统内存中会维护...
自动化管理分区
假设当前最大的分区范围是 2022-05-20 00:00:00~2022-05-20 23:59:59，定时任务会从 2022-05-20 00:00:00 开始执行，每天新增一个新分区，而且是提前一天新增下一天的分区。定时删除分区 如果业务上需要定期清理 orders 表中无用的数据，...
产品和业务限制
S2n 3个 没有高配 表或分区单次导入最大数据量 min(系统最大值,ecuCountdiskSize 0.2)联系技术支持 单个分析型数据库MySQL版最多表数 256 联系技术支持 单个表组总表数 256 联系技术支持 单表最大列数 1024 暂无高配 最大一级分区数 255 暂...
其它函数
MAX_PT 返回分区表的一级分区的最大值。CAST 函数说明 将expr的结果转换成目标数据类型type。参数说明 expr：必填，任意类型。待转换数据源。type：必填，文本类型。目标数据类型，可选值：STRING,BIGINT,DECIMAL,BOOLEAN,DATETIME,DATE。...
基本概念
最大位点 分区的最大位点，即当前分区的最新消息的位点。如何查看当前分区的最大位点，请参见 查看分区状态。消费位点 分区被当前Consumer消费了的消息的最大位点。如何查看消费位点，请参见 查看消费状态。最近消费时间 Group 最近消费的...
创建分区表
创建二级分区表 说明 PolarDB PostgreSQL版（兼容Oracle）在创建分区表时需要指定分区，同样在创建分区时也可指定二级分区，Oracle语法中最大的分区级别为二级分区（也称为子分区）。CREATE TABLE sales(dept_no number,part_no varchar2,...
上下游存储
增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？MaxCompute连接器运行报错：ErrorMessage=Authorization Failed[4019],You have NO privilege 如何填写增量MaxCompute的startPartition参数？为什么带有增量...
分区
单表分区数最大值为60000个。单次查询允许查询最多的分区个数为10000个。STRING分区类型的分区值不支持使用中文。使用说明 分区数据不宜过小，如果创建很多过小分区，会导致计算查询性能下降。建议单分区数据不要小于一万行。分区列的数据...
分区合并
对于连续空间的分区（range/range column/hash/key），合并多个相邻分区后，新分区的哈希空间取合并前的相邻分区中哈希空间最大的一个。当子分区是非模板化分区时，合并后的新分区只有一个子分区，该子分区的空间是待合并分区的所有子分区...
INTERVAL RANGE简介
如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据，将会创建该数据所在月份的分区，以及中间月份的分区。例如，您可以创建一个INTERVAL RANGE分区表，该表分区范围为1个月且当前的转换点为...
SQL 诊断概述
参与分区数过多 max_partition_cnt>2000 参与分区数过大 max_partition_cnt 用于设置最大参与分区数，若超个设定的值则会被认定为高危 SQL。in 条件过多 where id in(1,2,3,4,5.)in 条件过多-索引变更 drop index idx2 on test_high_risk2 ...
何时选择间隔（Interval）分区
如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据，将会创建该数据所在月份的分区，以及中间月份的分区。例如，您可以创建一个INTERVAL RANGE分区表，该表分区范围为1个月且当前的转换点为...
接口和参数说明
将指定分区的消费位点重置到该分区的最大位点。注意该接口必须在Pull Consumer Start以后才能被调用，并且指定的分区必须为订阅的分区。void seekToEnd(TopicPartition topicPartition);暂停指定分区的消费。void pause(Collection...
- 产品推荐
- 这些文档可能帮助您