MongoDB实例内存使用率高问题
尤其在 云数据库 MongoDB 版 4.0以前的版本，全量逻辑备份期间可能打开非常多的⽂件句柄并且未能及时归还OS导致内存快速上涨，或者低版本的 云数据库 MongoDB 版 在大量删除集合后可能未能删除文件句柄导致内存泄漏。创建索引过程中的内存...
为什么在容器中得到的内存值不一致？
Pod命令如何计算内存使用量 执行 kubectl top pod 命令得到的结果，并不是容器服务中container_memory_usage_bytes指标的内存使用量，而是指标container_memory_working_set_bytes的内存使用量，计算方式如下：container_memory_usage_...
为什么在容器中得到的内存值不一致？
Pod命令如何计算内存使用量 执行 kubectl top pod 命令得到的结果，并不是容器服务中container_memory_usage_bytes指标的内存使用量，而是指标container_memory_working_set_bytes的内存使用量，计算方式如下：container_memory_usage_...
配置Spark SQL任务参数
spark.executor.memory 1G 执行程序进程使用的内存量。spark.yarn.am.memory 512M 客户端模式下YARN Application Master使用的内存量。spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1G ...
PRESTO指标
参数 指标 描述 HeapMemory committed presto_Memory_HeapMemoryUsage_committed JVM堆内存分配量。HeapMemoryUsage Init presto_Memory_HeapMemoryUsage_init JVM初始堆内存。HeapMemoryUsageMax presto_Memory_HeapMemoryUsage_max JVM...
管理模板
spark.driver.memory 用于指定Spark应用程序中Driver进程可以使用的内存量。spark.executor.cores 用于指定每个Executor进程可以使用的CPU核心数量。spark.executor.memory 用于指定每个Executor进程可以使用的内存量。Spark配置 填写Spark...
指标说明
SwapPss 动态内存交换区，zRAM交换可通过压缩内存页面并将其放入动态分配的内存交换区来增加系统中的可用内存量。由于这是以牺牲CPU时间为代价来增加少量内存，所以swapPss的异常变化可能对系统性能造成影响。CPU指标 指标 说明 ProcessCpu...
容器监控
物理内存 物理内存 区域显示该应用在指定时间段的Pod的物理内存情况，包括以下指标：内存使用量 内存配额 可选：在 物理内存 区域，您可以执行以下操作：将光标移到统计图上，查看统计情况。使用光标选中一段时间，查看指定时间段的统计...
添加弹性伸缩规则
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以便于E-MapReduce（简称EMR）可以按业务量波动增加或减少Task节点。确保作业完成的同时，可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。前提条件 已...
管理Compute
spark.driver.memory 用于指定Spark应用程序中Driver进程可以使用的内存量。默认值为3.5 GB。spark.executor.cores 用于指定每个Executor进程可以使用的CPU核心数量。默认值为1 CPU。spark.executor.memory 用于指定每个Executor进程可以...
接入数据
load_15 double CPU 15分钟平均负载 cpu_count int CPU核数 MEM mem_total double 内存总量（KB）mem_used double 内存用量（KB）mem_cache double cache内存量（KB）mem_util double 内存使用率（%）DISK disk_read double 磁盘读取速率...
Spark作业异常排查及处理
内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager异常终止。特别是Spark类型作业，可能会占用多...
Bucket Shuffle Join
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
ANALYZE分析工具
因此，扩展了现有的 EXPLAIN ANALYZE 工具，使其能够统计并行查询计划在各个节点上的执行时间、数据扫描量、内存使用等信息，并以统一的视角提供给用户。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.22及以上）PostgreSQL 14...
性能参数调优
使用此参数分配的内存量不能超过 max_statement_mem 或查询提交的资源队列上的内存限制。当 gp_resqueue_memory_policy=auto时，statement_mem和资源队列内存限制了查询内存的使用。如果查询需要额外的内存，则会使用磁盘上的临时溢出文件...
捕获内核的内存污染问题（KFENCE）
阿里云在Alibaba Cloud Linux 3中对KFENCE功能进行了增强，能够灵活动态开关KFENCE和全量捕获内存污染问题，从而兼顾线上探测和线下调试。说明 如果您是一名内核或内核模块的开发者，可以用此工具来检查您开发的内核或内核模块是否存在内存...
性能参数表
rsqMemoryValue代表运行中query所使用的内存量 adbpg_rsq_waiters 资源队列等待查询数 无 rsqwaiters代表归属于当前队列的，且由于资源不足等原因无法获取资源队列槽位，处于等待的状态query个数。由于队列中已运行的query个数达到队列并发...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
JVM内存配置最佳实践
因为系统自身组件存在内存开销，例如使用SLS进行日志收集（设置日志收集至SLS）时会占用一小部分的内存空间，所以不能将JVM堆大小设置为和规格内存大小相同的数值，需要为这些系统组件预留足够的内存空间。在JDK 8版本下设置-XX:...
多NUMA机型的容器内存就近访问加速
索引 前提条件 内存就近访问加速功能的优势 使用场景 使用内存就近访问加速功能 步骤一：通过Policy开启内存就近访问加速功能 步骤二：通过Event查看内存就近访问加速结果（可选）步骤三：开启多次内存就近访问加速 验证内存就近访问加速...
如何使用Prometheus监控Windows
提交的虚拟内存量（Bytes）Major WMI（CommittedBytes）CommittedBytes表示虚拟内存的实际需求。已分配的内存（无论是物理RAM还是页面文件）将计入已提交的字节总数。当提交字节数接近或超过系统的物理内存时，就会触发磁盘分页，影响到...
如何使用Prometheus监控Windows
提交的虚拟内存量（Bytes）Major WMI（CommittedBytes）CommittedBytes表示虚拟内存的实际需求。已分配的内存（无论是物理RAM还是页面文件）将计入已提交的字节总数。当提交字节数接近或超过系统的物理内存时，就会触发磁盘分页，影响到...
如何处理系统内存使用率过高问题？
可能原因 ECS实例中存在异常的进程或服务，占用大量内存，导致内存使用率过高。一般来说，当内存使用率≥80%时，定义为内存使用率过高。建议您通过创建报警规则，实时监控ECS实例的波动情况，具体操作，请参见 创建报警规则。解决方案 您...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
Linux系统的ECS实例的系统、内存或进程出现异常，查看...
问题现象 Linux系统的ECS实例的系统、内存或进程出现异常，通过查看系统日志提示"page allocation failure"错误，表示系统因内存不足导致无法为新的内存页分配内存空间，内存页分配失败。什么是内存页 内存页（Memory Page）是操作系统中对...
成本估算策略介绍
综上所述，虽然本示例的内存单资源估算成本>权重混合资源估算成本，但是CPU调度水位和内存调度水位相差不大（两者资源的请求量相近），即两种资源的价值相近，且成本相差不大，因此根据综合考虑需要选择使用权重混合资源估算策略。...
Page Cache限制功能
背景信息 在内核系统中，系统分配内存并在相应内存子系统（memcg）中的统计达到memcg设定的内存上限时，会触发memcg级别的直接内存回收，这可能导致当前进程的性能抖动。尽管具有 Memcg后台异步回收 功能，但对于突发性的内存申请来说，其...
通过性能监控分析及优化应用程序的性能
本文介绍如何运用性能监控（火焰图等）工具，分析应用程序的性能数据以及实现应用程序的CPU、内存优化。背景信息 日志服务性能监控平台为开发者提供开放、一站式性能持续分析功能，目前已完全兼容Pyroscope开源SDK和Agent。本实践基于A公司...
高性能计算优化型实例概述
提供高达1:32的超大处理器与内存配比，搭配Intel傲腾持久内存介质，极大幅度降低内存型应用单GiB内存的成本。hpc7ip的特点如下：计算：处理器与内存（内存+持久内存）配比约为1:32 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice ...
向量检索版介绍
全量流程是一个非常驻任务，数据处理完成，产出一份全量索引，全量流程结束。产出的全量索引通过全量切换，切换到在线集群提供检索服务。多索引版本的支持可以保证数据变更的稳定性，当索引结构变化或者数据结构发生变化时，通过全量产出新...
实例规格族
根据CPU、内存等配置，一种实例规格族又分为多种实例规格。ECS实例规格 定义了实例的基本属性：CPU和内存（包括CPU型号、主频等）。但是，ECS实例只有同时配合块存储、镜像和网络类型，才能唯一确定一台实例的具体服务形态。说明 各个地域...
Roaring
尽管Bitmap相比常规基于Hash结构的实现节省了大量内存空间，但是常规Bitmap对于稀疏场景下的数据存储仍不够友好，因此有了各种压缩Bitmap的实现（Comprised bitmap），Roaring Bitmap就是业界公认的一种更高效和均衡的Bitmap压缩存储的实现...
查找最耗费资源的 SQL（Top SQL）
最耗共享内存 SQL 执行如下命令，查询最耗共享内存 SQL。SELECT userid:regrole,dbid,query FROM pg_stat_statements ORDER BY(shared_blks_hit+shared_blks_dirtied)DESC LIMIT 5;最耗临时空间 SQL 执行如下命令，查询最耗临时空间 SQL。...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
Tair助力雪球行情业务上云，实现数据库降本增效
中国知名在线财富管理平台雪球引入 云原生内存数据库Tair，加速行情业务系统上云进程，顺畅支持每天近千万级QPS峰值读写，并实现相关数据库成本降低50%以上。客户感言“在业务上云过程中，我们希望对系统架构进行优化改造，以达到简化架构...
查看节点信息
CPU请求量=SUM（当前节点上所有Pod的CPU请求值）/节点可分配的CPU CPU使用量=SUM（当前节点上所有Pod的CPU实际使用量）/节点可分配的CPU 内存请求量=SUM（当前节点上所有Pod的内存请求值）/节点可分配的内存 内存使用量=SUM（当前节点上...
【产品变更】函数计算计费项降价通知
自2023年11月01日0时起，函数计算 中vCPU使用量、内存使用量和磁盘使用量三个计费项进行降价调整，其中vCPU使用量将实行阶梯累计计费模式。这三个计费项的本次降价幅度达到29%~76%。价格调整明细 新的计费价格调整将于2023年11月01日00:00...
一键诊断
Bad SQL检测 Bad SQL检测包括 Stage个数TOP SQL、最耗内存SQL、最耗CPU SQL、数据读取量TOP SQL、输出数据量TOP SQL 和 最耗时SQL 等检测指标。每个检测指标中最多包含10条SQL，且每条SQL均按照当前检测指标降序排列。同时，系统会在后台对...
版本特性
优化内存和CPU占用量：1.9.3.1版本的Eureka引擎内存和CPU占用量进行了一定程度的优化。优化之后，在注册相同的实例或服务数的情况下，内存占用量和CPU占用量得到了一定程度降低。增强反脆弱能力：对于一些并发量较高的使用场景，1.9.3.1...
- 产品推荐
- 这些文档可能帮助您