避免下盘
查询的计算量过大，需要的内存太大。产生了数据倾斜。下面详细介绍三种原因导致的算子下盘场景及解决方法。常见算子下盘场景及解决方法 查询内存太小导致的算子下盘 通过观察执行计划发现，算子需要的内存并不大，只有几K或几M，但还是发生...
导入概述
而过大的内存限制可能导致当导入并发较高时系统OOM。所以需要根据需求合理地设置内存参数。通用系统配置 FE配置 以下配置属于FE的系统配置，可以通过FE的配置文件 fe.conf 来修改。参数 描述 max_load_timeout_second 导入超时时间的最大、...
Dataphin中即席查询报错“Java heap space”
问题描述 Dataphin中即席查询报错“Java heap space”。问题原因 因为没有指定limit，查询的数据量太大了，导致内存oom了。解决方案 在即席查询SQL中指定limit。适用于 Dataphin
分析视图简介
此外还提供了按实现内存占用大小排序的 Java 类型饼图,帮助用户快速定位占用内存最多的类型。对象报表 以可视化的形式列出堆中哪些对象最多，占比最大，哪些可能有潜在问题 类报表 以可视化的形式列出堆中哪些类型的对象最多，占比最大，...
告警规则指标说明
JVM非堆内存提交值 M 不是 非堆内存中已经被Java程序使用的内存大小。JVM非堆内存的提交值也需要被严格控制，避免因为过多的类加载、过多的静态变量和常量等导致内存占用过高。JVM非堆内存初始值 M 不是 根据JVM版本、操作系统和JVM参数等...
Hive服务内存参数调整
调整场景 如果业务量上升，作业在元数据且作业执行相对延迟较大以及HiveMetaStore异常，且相关指标提示内存不足（例如HiveMetaStore内存指标（GC相关）超过阈值），可尝试将HiveMetaStore内存调大，如果HiveServer2也出现上述类似场景，可...
使用SysOM定位容器内存问题
内存大类 内存小类 说明 应用程序内存（Application Memory）应用程序内存由以下几个部分组成：匿名内存（Anon）：没有关联到文件的内存，例如进程的堆、栈、数据段等。通过BRK和MMAP分配的堆内存。文件缓存（FileCache）：用于缓存读取和...
快速入门Java堆分析
本文演示如何通过ATP的Java堆分析，寻找应用出现内存不足错误的原因 1.生成数据源，上传到ATP 假设我们观察到生产环境中的应用出现如下内存不足的报错：java.lang.OutOfMemoryError:Java heap space Exception in thread"Thread-3...
JVM内存调优
例如，大数据机型为3副本，Core节点数量为6，如果您有1000万个文件且都是中小文件，Blocks数量也为1000万，则单个DataNode副本数Replicas为 500万（1000万×3÷6），内存大小建议值为10240 MB（5×2048 MB）。当您的大多数文件不超过1个...
TRINO指标
参数 指标 描述 JVM Used MemHeap trino_Memory_HeapMemoryUsage_used JVM内存使用量。JVM Used MemNonHeap trino_Memory_NonHeapMemoryUsage_used 非堆内存使用量。Queued Queries trino_QueryManager_QueuedQueries 等待查询的总数。...
限制发布订阅客户端的输出缓冲区大小
通过自定义 client-output-buffer-limit pubsub 的值，您可以调整 云原生内存数据库 Tair 为发布订阅客户端分配的缓冲区大小。当某个客户端的缓冲区数据超过限制时，Tair 将断开与该客户端的连接，防止这些数据占用过多的内存而影响 Tair ...
YARN指标
MemHeapCommittedM yarn_resourcemanager_jvm_MemHeapCommittedM ResouceManager JVM堆内存commit的内存。单位：MB。MemHeapMaxM yarn_resourcemanager_jvm_MemHeapMaxM ResouceManager JVM堆内存最大可用内存。单位：MB。MemMaxM yarn_...
排查内存使用率高的问题
云原生内存数据库Tair 可提供高效的数据库服务，当内存不足时，可能导致Key频繁被逐出、响应时间上升、QPS（每秒访问次数）不稳定等问题，进而影响业务运行。通常情况下，当内存使用率超过95%时需要及时关注。Tair内存占用介绍 Redis的内存...
列存索引内存管理介绍
如下：当每个查询使用的内存较少且内存资源充足时，虚拟内存变大，系统并发增加，资源使用率增加。当每个查询使用的内存较多且内存紧张时，虚拟内存较小，系统并发较低，查询落盘较少或不落盘，kill比例较低或者不执行kill操作。以上两种...
查看运行分析
对于开源Flink实时计算引擎的实时实例，可在Dataphin中查看运行分析。运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也...JM所在的JVM创建后，加载类的总数或卸载类的总数过大，会导致占用过大的内存空间，从而影响作业性能。个
配置使用持久内存
持久内存支持的使用方式和实例规格有关，本文介绍如何将持久内存配置为本地盘以及可以配置为本地盘的持久内存型实例（ecs.re7p规格和ecs.i4p规格）使用llpl库分配内存池失败的解决方案。前提条件 持久内存适用于特定的实例规格和镜像版本，...
内存大页支持
在系统启动期间，你能用“大内存页”为应用程序预留一部分内存。这部分内存，即被“大内存页”占用的这些存储器永远不会被交换出内存。它会一直保留其中，除非你修改了配置。例如像PolarO这样的计算密集型应用，需要开启大页内存管理。使用...
排查Redis实例内存使用率高的问题
如果发现Redis内存占满或收到内存告警，可参考本文判断内存占用是否长期过高、内存占用是否突然上升、是否发生内存倾斜，并通过拆分大Key，设置过期策略，升级规格等方法解决问题。内存使用率高的现象分类 内存使用率高，通常分为以下三种...
混合存储型（已停售）
Key总数 推荐的内存规格千万 64 GB、32 GB、16 GB 2千万~5千万 64 GB、32 GB 5千万~1亿 128 GB、64 GB、32 GB>1亿 128 GB、64 GB 说明 内存容量决定创建实例时分配到的CPU资源，因此内存容量越大性能越高。磁盘选型 磁盘中保存Tair的所有...
使用限制
本文介绍 云原生内存数据库Tair 各数据类型以及部分功能特性的使用限制。项目 说明 List数据类型 List及其包含的元素个数无限制，但单个元素的最大值为512 MB。推荐List的元素个数小于8192，整体Value不超过1 MB。Set数据类型 Set及其包含...
JVM参数配置说明
本文从堆栈内存、回收器GC两方面介绍常见的JVM参数并提供配置示例。调优堆栈内存 堆栈大小典型配置参数 配置参数 说明 示例-Xmx 设置最大堆大小。Xmx3550m，设置JVM最大可用内存为3550 MB。Xms 设置JVM初始内存。Xms3550m，设置JVM初始内存...
PRESTO指标
ClusterMemoryPool FreeDistributedBytes presto_ClusterMemoryPool_name_general_FreeDistributedBytes 集群内存池可用内存 ClusterMemoryPool Nodes presto_ClusterMemoryPool_name_general_Nodes 集群内存池节点数。...
如何排查slab_unreclaimable内存占用高的原因？
问题现象 在Linux实例内运行 cat/proc/meminfo|grep"SUnreclaim"命令查看SUnreclaim参数指标时，发现内存较大（例如 SUnreclaim:6069340 kB），当该内存超过系统总内存大小的10%时，表示slab_unreclaimable内存占用过高，系统可能会存在...
离线全量Key分析
您可以通过离线全量Key分析功能来分析 Tair 的备份文件，快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
YARN资源配置
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
如何处理系统内存使用率过高问题？
可能原因 ECS实例中存在异常的进程或服务，占用大量内存，导致内存使用率过高。一般来说，当内存使用率≥80%时，定义为内存使用率过高。建议您通过创建报警规则，实时监控ECS实例的波动情况，具体操作，请参见 创建报警规则。解决方案 您...
JVM监控
背景信息 JVM监控功能支持监控以下指标：GC（垃圾收集）瞬时和累计详情 FullGC次数 YoungGC次数 FullGC耗时 YoungGC耗时 堆内存详情 堆内存总和 堆内存老年代字节数 堆内存年轻代Survivor区字节数 堆内存年轻代Eden区字节数 已提交内存字节...
JVM监控
功能介绍 JVM监控功能可监控以下指标：GC（垃圾收集）瞬时和累计详情 FullGC次数 YoungGC次数 FullGC耗时 YoungGC耗时 堆内存详情 堆内存使用总和 堆内存老年代字节数 堆内存年轻代Survivor区字节数 堆内存年轻代Eden区字节数 非堆内存 非...
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100GB的数据，但高峰...
自定义Stream宏节点大小
您可以通过 stream-node-max-bytes 参数修改Stream中每个宏节点（Macro Node）能够占用的最大内存，或者通过 stream-node-max-entries 参数指定每个宏节点中可存储条目的最大数量。前提条件 实例为 内存型 或 持久内存型。Streams与宏节点 ...
JVM监控
功能介绍 JVM监控功能可监控以下指标：GC（垃圾收集）瞬时和累计详情 FullGC次数 YoungGC次数 FullGC耗时 YoungGC耗时 堆内存详情 堆内存总和 堆内存老年代字节数 堆内存年轻代Survivor区字节数 堆内存年轻代Eden区字节数 非堆内存 非堆...
JVM监控
JVM监控功能用于监控重要的JVM指标，包括堆内存指标、非堆内存指标、直接缓冲区指标、内存映射缓冲区指标、GC（Garbage Collection）累计详情和JVM线程数等。本文介绍JVM监控功能和查看JVM监控指标的操作步骤。功能入口 登录 EDAS控制台。...
指定vCPU和内存创建实例
大部分场景下，如果没有特殊的规格需求（如GPU、本地盘等），推荐您指定vCPU和内存来创建ECI实例，系统会尝试使用多种ECS规格进行支撑，以提供比ECS单规格更好的弹性和资源供应能力。规格说明 您可以指定实例或者容器的vCPU和内存来创建ECI...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
步骤1：创建实例
云原生内存数据库Tair 包含多种形态：内存型、持久内存型和磁盘型，您可以根据本文的步骤创建适应业务需求的 Tair 实例。前提条件 已注册阿里云账号，更多信息，请参见 注册阿里云账号。若您要创建按量付费的实例，请确保您的账户 余额大于...
Resource Manager
背景信息 PolarDB PostgreSQL版 的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，可能会导致...
为分布式实例添加子实例
集群版：可轻松突破Redis自身单线程瓶颈，满足大容量、高性能的业务需求。请选择 标准版 或 集群版，更多信息请参见 架构信息查询导航。分片数 选择 Tair 集群实例的分片数。说明 架构类型 选择为 集群版 时，才支持该参数。节点类型 固定...
Trino集群选型与内存配置建议
集群配置较大时（例如实例内存超过128 GB时）可以适当增大该值，但不建议过大。尤其是在存在大量Native方法请求时，应根据实际情况降低这个值，否则进程容易因内存不足被操作系统终止，从而出现Worker重启导致任务失败。如果Master和Core...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
- 产品推荐
- 这些文档可能帮助您