COALESCE PARTITION
本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他...
不一致情况
事务状态不一致 事务中，遭遇单分区死锁，该分区将退出事务状态，其它分区可能仍然在事务状态，此时分区事务状态不一致，分布式数据库要求 client 仅能发送 rollback，而不会为 client 自动进行其它分区的 rollback 调用。事务开启时，...
为什么分区消费时间相差较大、滞后明显或乱序？
某分区的 最近消费时间 比其他分区早，说明分区早于其他分区收到来自Producer的消息。原因 同一个 Group 的所有消费端实例，会按分区均匀分配。在此条件下，消费的消息是否均匀，取决于客户的Producer在发送消息时，发送消息对各个分区是否...
为什么发送给Topic的消息在分区中分布不均衡
以下图为例，分区 2 消息比较多，其他分区消息少甚至没有，消息分布不均衡。可能原因 发送消息时指定了分区，导致未指定的分区没有消息。发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。通过代码重新...
为什么同一个分区被多个消费线程消费了？
解决方案 建议您升级客户端至2.3或以上版本，或者换成其他分区分配策略。使用建议：“StickyAssignor”分配策略目前在一些情况下会产生分配偏差，比如分区重复分配问题。如果不是业务特殊需求，不建议使用该分配策略。
在LIST或RANGE 分区表中处理偏离值
分区或子分区DEFAULT或MAXVALUE会捕获任何不满足定义给表的其他分区规则的记录。定义DEFAULT 分区 分区DEFAULT会捕获那些在LIST分区（或子分区）表中不适用于任何其他分区的记录。如果不包括一个DEFAULT规则，那么任何不匹配分区约束中的...
Dataphin周期任务查询对应的分区，报其他分区错误
问题描述 本文主要解决Dataphin周期任务查询对应的分区，报其他分区错误。问题原因 报错提示20211122分区存在问题。然而客户并没有对20211122分区数据进行操作。经过和客户沟通了解到昨天两个人同时对20211122分区进行补数据后来停止过一个...
分区表常见问题
建议您使用 REBUILD PARTITION 命令并结合 在线分区维护 功能，这样只会阻塞当前重建分区的DML操作，不阻塞其他分区的DML操作，最大限度减少对业务的影响。分区表如果需要做数据删除，如何操作比较安全？您可以创建一个新的相同定义的临时...
并发控制
尽管并发操作可能会物理上更新不同的分区目录，但其中一个操作可能会读取与其他分区目录同时更新的同一分区，从而导致冲突。可以通过在操作条件中进行分隔显式来避免这种情况。请考虑以下示例。Scala%spark/Target 'deltaTable' is ...
普通表快速转换为RANGE分区表
背景信息 PolarDB 普通表快速转RANGE分区表时，普通表的数据不经校验直接作为分区表的第一个分区的数据，其他分区为空分区。PolarDB 普通表快速转RANGE分区表通常用于想把历史数据放入第一个分区，同时避免使用普通的 ALTER PARTITION BY ...
重置消费位点
按分区消费位点进行重置：如果只有少量分区产生消息堆积，可以仅重置指定分区的消费位点，避免重复消费其他分区中已正确处理的消息。操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域，选择地域。在 实例列表 页面...
日志投递MaxCompute后，如何检查数据完整性
遇到这些情况时，投递策略为忽略异常的日志行，并继续任务，在该次任务中其它分区正确的日志行可以成功同步。因此，在配置字段映射不当的情况下，可能出现任务成功但是表中缺少数据的情况，请修改分区列配置。建议使用保留字段_partition_...
分区热力图
当一次采集任务内采集的总分区数超过8000时，则不再采集其他分区热力信息，该限制可以通过修改内核参数 PARTITIONS_HEATMAP_COLLECTION_MAX_SCAN 来调整。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例...
分区热力图
当一次采集任务内采集的总分区数超过8000时，则不再采集其他分区热力信息，该限制可以通过修改内核参数 PARTITIONS_HEATMAP_COLLECTION_MAX_SCAN 来调整。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例...
云市场镜像规范（Windows）
其他分区 恢复分区、保留分区、数据分区等，不推荐。恢复分区、保留分区、数据分区等，不推荐。必备的软件和工具 安装云助手 您在制作云市场镜像时需要安装云助手。云助手是专为云服务器ECS打造的原生自动化运维工具，免密码、免登录、无需...
云市场镜像规范（Windows）
其他分区 恢复分区、保留分区、数据分区等，不推荐。恢复分区、保留分区、数据分区等，不推荐。必备的软件和工具 安装云助手 您在制作云市场镜像时需要安装云助手。云助手是专为云服务器ECS打造的原生自动化运维工具，免密码、免登录、无需...
发布者最佳实践
默认情况下，云消息队列 Kafka 版 为了提升可用性，并不保证单个分区内绝对有序，在升级或者宕机时，会发生少量消息乱序（某个分区挂掉后把消息Failover到其它分区）。如果业务要求分区保证严格有序，请在创建Topic时选择使用Local存储。
当实例无法启动时扩容云盘
如果需要扩容其他分区，请根据实际情况修改命令。执行结果如下所示。在ECS实例内部，根据查询的文件系统类型，扩容文件系统。扩容ext*（例如ext4）文件系统：运行以下命令扩容文件系统。扩容系统盘/dev/vda1的文件系统。resize2fs/dev/vda1...
LIST DEFAULT HASH
不可与其他分区表重复。当有多个DEFAULT分区时，表示分区名称前缀。“partition_name+序号”表示分区名称。subpartition_name 子分区名称。在同一个表中不可重复，子分区最多只支持一个DEFAULT分区。number DEFAULT分区按照哈希规则分成...
实时同步任务延迟解决方案
对于源端是Kafka、DataHub和Loghub三种类型的实时同步任务，每个分区或者shard只能由一个并发消费，如果存在写入源端系统的数据集中在个别分区或者shard，而其他分区或shard数据很少的情况，则很可能导致数据倾斜分区或shard的消费瓶颈，...
表分区
分区可以有自己的与其他分区不同的索引、约束以及默认值。创建分区表及分区的更多细节请见CREATE TABLE。无法把一个常规表转换成分区表，反之亦然。不过，可以把一个包含数据的常规表或者分区表作为分区加入到另一个分区表，或者从分区表中...
通过整库迁移配置集成任务
若有其他分区需要，可以在生成管道后，单击单条管道修改分区相关的 准备语句。数据源 选择目标数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。数据源创建，请参见 通过整库迁移配置集成任务。AnalyticDB for PostgreSQL目标...
添加软件源
说明 CentOS 6与CentOS 8操作系统版本结束了生命周期（EOL），按照社区规则，CentOS 6/8的源地址内容已移除。当您在CentOS 6/8系统内继续使用默认配置的源地址时会发生报错。建议您先切换CentOS 6/8的源地址，然后再进行操作。具体操作，请...
UPDATE
此时，如果这个行满足分区树中某个其他分区的分区约束，那么这个行会被移动到那个分区。如果没有这样的分区，则会发生错误。在后台，行的移动实际上是一次 DELETE 操作和一次 INSERT 操作。在移动的行上的并发 UPDATE 或 DELETE 可能会收到...
通过整库迁移配置集成任务
若有其他分区需要，可以在生成管道后，单击单条管道修改分区相关的 准备语句。数据源 选择目标数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。数据源创建，请参见 数据集成支持的数据源。TDH Inceptor、ArgoDB目标数据源类型...
数据存储冷热分层
例如，2023年07月17日09:00:00执行ALTER TABLE操作，那么三天后（2023年07月20日09:00:00）会将 tiered_storage_partition_hdfs_1_prt_1 子分区整表转冷，其他分区均不会有任何迁移操作。ALTER TABLE tiered_storage_partition_hdfs_1_prt_...
热点分区分裂
其他分区键则以最大值（maxvalue）的方式预留，构成了一个多维向量空间，以备将来之需。当第一个分区键的特定值累积了大量的数据行（例如订单表的大客户），形成所谓的热点数据时，PolarDB-X 可通过基于第二个分区键的哈希值进行二次散列，...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
Spark SQL创建C-Store表
表示按分区键的值的大小倒序排列，最大N个分区为热分区，其他分区为冷分区。指定MIXED策略时，必须同时指定热分区的个数；其他策略禁止指定 hotPartitionCount=N。说明 N为正整数。否 tableEngineName=XUANWU 设置存储引擎，默认值为XUANWU...
PolarDB MySQL版DDL操作指南
本文基于云原生数据库 PolarDB MySQL版，对常见DDL的操作进行了说明，方便用户查询和了解DDL的行为，评估DDL操作风险，降低对业务的影响。DDL操作说明 在MySQL生态中，DDL是一类非常复杂的操作，包括Index操作、Primary Key操作、Column...
PolarDB MySQL版8.0.2版本发布日志
修复分区表的所有分区在分区剪枝阶段都被裁剪掉的情况下，使用RANGE INDEX访问分区表的全局二级索引时，触发ASSERT CRASH（断言错误）的问题。修复将冷数据归档为ORC格式时，因表中存在Blob类型的字段导致归档失败的问题。修复MRR等场景下...
创建部分索引
您可以在 创建分区表的同时创建部分索引 或 在已创建好的分区表上创建部分索引。创建分区表的同时创建部分索引 语法 CREATE[TEMPORARY]TABLE[IF NOT EXISTS]table_name[(create_definition,.)][table_options]partition_options.其中，...
导出至MaxCompute
MaxCompute最高支持6级分区，其他多级分区的操作步骤类似。一级分区表 CREATE TABLE IF NOT EXISTS odps_table(uid STRING)PARTITIONED BY(ds STRING)LIFECYCLE 3;二级分区表 CREATE TABLE IF NOT EXISTS odps_table(uid STRING)...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
表操作篇
如果有一批数据要上传到表格存储中，同时这批数据是按主键排列顺序的，若按顺序写入数据，可能会导致写入压力集中在某个分区中，而其他的分区处于空闲状态，无法有效利用预留读/写吞吐量，影响数据导入速度。可以采取以下任一措施来提升...
2023年
3.10.0-1160.105.1.el7.x86_64 更新内容：更新最新软件包 CentOS 7.9 centos_7_9_x64_20G_alibase_20231109.vhd 2023-11-09 内核版本：3.10.0-1160.102.1.el7.x86_64 更新内容：更新最新软件包 CentOS 7.9 centos_7_9_x64_20G_alibase_...
EMR Kafka磁盘故障运维
注意事项 Broker迁移会丢失所有的磁盘数据，需要确认业务数据可以从其他Broker恢复（即确认故障磁盘所在Broker上的分区leader可以切换到其它Broker）或者业务数据允许丢失。Broker迁移时，需要根据实际情况评估是否设置限流参数，避免对...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
ALTER TABLE
添加其他格式分区。alter table sale_detail add IF NOT EXISTS partition(sale_date='2019-10-05')partition(sale_date='2019-10-06')partition(sale_date='2019-10-07');批量删除分区，使用正则表达式匹配分区。alter table sale_detail ...
- 产品推荐
- 这些文档可能帮助您