Kafka元数据管理
在 选择Topic 对话框中，从 集群 ID 列表选择待调整分区所属的集群。选中待调整的分区，单击 确定。设置调整后的分区数。单击 确定。您可以单击 任务列表，查看执行结果。当 状态 为 成功 时，表示操作成功。当 状态 为 失败 时，您可以...
费用优化
请调整分区个数，使其正好能处理5M/s的数据。减少分区个数请合并分区。Logstore 数据保存周期 针对您对日志的查询、存储的需求不同，建议您优化Logstore 数据保存周期。如果您收集日志是为了做流计算，建议您只使用LogHub，不创建索引。...
分区均衡引流
在生产环境中，可能会遇到某些业务不能及时调整分区的情况，此时可以使用集群分区均衡功能。此功能会将集群中所有云存储类型的Topic的分区进行引流调整，使每个节点上的分区数尽量保持一致。Topic分区引流 如果某一云存储类型的Topic分区...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务...此外，还需要根据consumer的消费速度来调整分区数，以使消费延迟符合预期。通常来说，分区数越多，能够支持的消费者的并行度也越高。
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库...需要注意的是，如果新创建的表的分区数与原来已创建的表的分区数不一致，将会导致它们之间的JOIN计算下推失效，影响执行效率，建议手动调整分区数，详情请参见 变更表级分区（AUTO模式）。
变更表的表组（AUTO模式）
PARTITION p3 VALUES LESS THAN(80))将表批量添加到指定表组 将表加入到表组中，当表组为空时，会从table_list中选一个参照表，参照表决定空表组的分区物理位置，重新创建分区组的元数据，其他表通过调整分区向参照表对齐。语法 ALTER ...
使用OSS Foreign Table分区表
调整分区外表结构 您可以通过ALTER TABLE语句调整已有分区外表的表结构。目前 AnalyticDB PostgreSQL版 OSS FDW支持增加分区和删除原有分区的操作。新增分区 新增一个一级分区 为分区表 ossfdw_parttable 新增一个一级分区，由于建表时指定...
DQL操作常见问题
原因二的解决措施：如果分区过大，需要调整分区个数，详情请参见 分区。原因三的解决措施：如果是由于小文件较多导致，请参见 小文件优化及作业诊断常见问题。在执行JOIN操作时，报错Both left and right aliases encountered in JOIN，...
如何分析数据分布不均衡
除此之外，分区表还支持通过 select*from information_schema.table_detail where logical_table='test_tb' 查询分区级的详细信息，部分参数说明如下：PARTITION_NAME：分区名 TABLE_ROWS：分区的数据行数 DATA_LENGTH：分区的数据大小 ...
常见问题
如何移动分区数据到冷存？监控、升级、系统参数 为什么监控中存在数据中断情况？20.8后的版本是否支持平滑升级，不需要迁移数据？常用系统表有哪些？如何修改系统级别的参数？是否要重启，有什么影响？如何修改用户级别的参数？如何修改...
热点分区分裂
这种多级散列策略可以动态调整分区，消除热点带来的影响。语法如下：ALTER { TABLE tbl_name|TABLEGROUP tg_name|TABLEGROUP BY TABLE tbl_name } split_partition_by_hot_value_definition|split_subpartition_by_hot_value_definition ...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
版本发布说明
新增支持动态调整分区表分区名字的最大长度。优化analyze table逻辑，避免对GSI做统计信息采集。统计信息支持对未采集到的时间列数据进行合理预测。优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大...
Kafka Partition迁移策略说明
在配置迁移到Kafka的数据迁移任务时，为提升迁移的性能，您可以调整Kafka Partition（分区）迁移策略，例如根据Hash结果将数据迁移至不同的Partition。Hash算法 DTS采用Java默认的hashcode算法来计算Hash值。配置方法 您需要在配置数据迁移...
Topic分区倾斜怎么办？
在 Topic详情 页面的 配置信息 页签，单击 增加分区数，在 分区数 调整框单击上下箭头调整至推荐的倍数。如果由于业务原因，无法新增分区，且Topic存储类型为云存储，您可以通过分区均衡功能将分区位置进行调整。调整后，Topic分区新增的...
数据存储冷热分离
以下情况会影响冷热分区布局：当数据有新增，修改，删除时，会重新调整冷热分区布局。详细说明，请参见 数据变更对冷热分区布局的影响。当变更热分区数量时，会重新调整冷热分区布局。详细说明，请参见 变更热分区数量对冷热分区布局的影响...
Wi-Fi模组移植
模组可以结合自身Flash大小、Bootloader实现等调整Flash分区。Flash分区大小划分原则如下。获取芯片平台的Flash大小。获取bootloader信息，包括：bootloader支持的升级类型（原地或乒乓）、bootloader跳转地址（如果是乒乓会有两个跳转地址...
可视化管理内部表、外部表或视图
分区列 手动添加内部表或外部表的分区列。在 分区列 区域右侧单击 图标即可添加分区列，但添加的列名称（name）、列类型（type）及列注释（comment）是自动生成的，您需要根据实际需求手动调整。索引 当内部表或外部表需要具备Hash属性或...
动态分区管理
调整保留分区的数量，最大值为8760。说明 以当前时间为2022-01-10为例，，num_retention=3>参数配置即表示将保留 2022-01-09、2022-01-08、2022-01-07三个分区，早于2022-01-07的历史分区将被删除。是 auto_partitioning.num_hot 否 保留热...
离线扩容分区和文件系统（Linux数据盘）
调整ext*文件系统大小。sudo resize2fs/dev/vdb1 分区挂载到/mnt。sudo mount/dev/vdb1/mnt xfs文件系统：依次运行以下命令先重新挂载分区，再调整xfs文件系统大小。分区挂载到/mnt。sudo mount/dev/vdb1/mnt 调整xfs文件系统大小。sudo ...
分区表扫描算子
分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE...
分区表扫描算子
分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE...
按照Topic规格购买的实例，如何转换为按照分区规格...
转换完成后，新的Topic与Group数量均参考分区数调整，Topic数量与总分区数量相等，Group数量=总分区数×2。增购Topic数量转换为分区数的转换倍数如下表所示：付费类型 转换倍数 预付费（包年包月计费）40.602 后付费（按量计费）60.2
错误码表（2.0版）
目标表不是二级分区表，无法进行二级分区数调整操作。18623 Illegal frontnode_rw_instance_ratio value:xxx,value pattern should be“number:number”读写分离读写比例参数错误，请参考DDL文档修改。DDL DROP语句用户错误 错误码 错误...
二级分区表（2.0版）
二级分区表是分析型数据库MySQL版向用户提供的高级功能，用于实现数据的增量...动态调整二级分区个数 分析型数据库MySQL版支持动态调整二级分区个数。当数据存储时间周期发生变化时，需要动态调整二级分区个数。具体语法参见 修改二级分区数。
Dataphin计算任务正常调度和补数据结果不一致
问题描述 Dataphin计算任务正常调度和补数据结果不一致。...解决方案 查看没有读的源表分区数据产出时间，调整计算任务调度时间在源表分区数据产出后，或者调整源表分区数据产出时间在计算任务执行调度之前即可。适用于 Dataphin
查看分区状态
相关文档 当您的Topic上的分区数分配不均衡时，您可以查看 分区均衡引流 将集群中所有云存储类型的Topic的分区进行引流调整。如果您的部分分区消息数量相差过大，请参见 为什么发送给Topic的消息在分区中分布不均衡？如果 最近更新时间 ...
导入镜像必读
tune2fs-l文件系统盘所在路径>|grep features 不支持调整系统盘分区，只支持单个根分区。不支持通过LVM跨磁盘构建的系统盘分区（根分区），否则可能导致ECS实例启动异常。不建议使用LVM逻辑卷的方式构建系统根分区，否则可能导致控制台修改...
新功能发布记录
当Topic上的分区数分配不均衡时，支持使用集群分区均衡引流功能将集群中所有云存储类型的Topic的分区进行引流调整，使每个节点上的分区数尽量保持一致。当云存储类型的Topic分区分配不均且流量过大时，支持使用Topic分区引流功能将此Topic...
PolarDB MySQL版DDL操作指南
LOCK子句：LOCK子句用于调整执行DDL期间对表的并发访问。您可以使用该LOCK子句来控制表被更改时的并发读写级别，可配置的选项及含义介绍如下：DEFAULT：内核根据不同的DDL类型，允许最大程度的并发读取和写入。NONE：允许在执行DDL期间进行...
偏分析场景的实践和优化
同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联条件下推，避免数据被拉取到计算层做计算。尽可能选择值分布均匀的字段作为分区键，这样...
2021年
2021-11-29 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）网络开通流程 MaxCompute支持清空分区表中指定分区的数据 MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表...
概述
动态指定Split大小：支持调整每个逻辑分区(Split)中的数据量和分区数，每个Split会和RDD（Resilient Distributed DataSet）的Partition绑定，可用于加速Spark任务的执行。说明 通过ComputeSplitsBySize接口可以获取逻辑分区(Split)，该接口...
使用fdisk扩容新分区起始位置无法与扩容前保持一致
问题描述 使用fdisk扩容新分区起始位置无法与扩容前保持一致，具体信息如下所示...“resizepart 1 100%”代表将Number为1的分区的End位置调整到磁盘尾部。然后依次执行以下命令即可。e2fsck-f/dev/vdb1 resize2fs/dev/vdb1 适用于 云服务器ECS
2021年
调整执行计划 跨机并行查询支持hash分区 支持hash分区的并行查询，从而平衡I/O，改善系统性能。对分区表使用跨机并行查询 GLOBAL INDEX支持对分区表进行DDL操作 支持在对分区表进行DDL操作时（如DROP、SPLIT、MERGE等），操作该分区表下的...
配置自动调优
即如果您设置的并发度最大值超过其分区数，系统将自动调整并发度为分区数。parallelism.scale.min：并发度向下调整时，最小并发限制。默认值为1，表示最小并发为1。delay-detector.scale-up.threshold：可以容忍的最大延迟阈值。基于消费...
创建表并导入数据
Hash 分区 Hash 分区适合于对不能用 Range 分区、List 分区方法的场景，它的实现方法简单，通过对分区键上的 Hash 函数值来散列记录到不同分区中。如果您的数据符合下列特点，使用 Hash 分区是个很好的选择，更多内容参见 分区概述。不能...
ODPS-0123031
maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个分区，此限制无法调整。解决方案 当某张表超出 60000 个...
分区表常见问题
使用分区表时，是否需要调整参数的设置？建议打开分区粒度的MDL锁。具体请参见 在线分区维护。在源端的数据库中某张表是不分区的，通过DTS迁移到目标数据库中，需要对该表进行分区，是否支持？支持。在数据同步任务中手动创建好分区表的...
数据管理
在进行正常Compact优化时，可以通过指定非分区字段进行ZOrder排序，以调整数据布局。代码示例如下。set spark.databricks.delta.stats.skipping=true;set spark.databricks.delta.stats.collect=true;对dbName.tableName表进行全局优化。...
- 产品推荐
- 这些文档可能帮助您