共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
Resource Manager
背景信息 PolarDB PostgreSQL版 的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，可能会导致...
Multi-Master关键技术介绍
GTM Proxy可以通过共享内存和Backend进程通信，相比Tcp Loopback更高效，既可以减少内存拷贝，也没有Network Stack开销。每个GTM Proxy进程会和GTM Server建立一个网络连接，并会服务多个本地的Backend进程，将它们的GTM请求转发给GTM ...
启动ACCL容器
PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信，故而建议为容器分配足够的共享内存空间。其他可行选项包括：shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...
系统类故障排查
“total”指总计物理（swap）内存的大小，“used”指已使用物理内存（swap）的大小，“free”指可用的物理内存（swap）大小，“shared”指多个进程共享的内存总额，“buff/cache”指磁盘的缓存大小，“available”指可以被新应用程序使用的...
操作系统监控
计数（Host.process.number）先调用OpenProcess打开需要查询的进程，再调用NTDLL中的NtQueryInformationProcess函数获得进程RTL_USER_PROCESS_PARAMETERS的参数信息，最后通过ReadProcessMemory函数获得进程cmdline，从而获得进程args和...
资源组管理
资源组在共享内存中可以进行数据交换和共享，以便实现进程间通信和协作。如果MEMORY_SHARED_QUOTA参数设置为100%，那么资源组内部的所有内存都将被视为共享内存，所有任务都可以使用这块内存；如果MEMORY_SHARED_QUOTA参数值小于100%，系统...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用...
内存诊断
共享内存 共享内存允许两个或更多进程访问同一块内存，是进程通信方式之一。tmpfs Linux临时文件系统，是一种基于内存的文件系统，读写的文件内容只存在内存中。hugetlb 基于文件系统的大页内存。内核内存 内核态内存重点关注Sunreclaim及...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。说明 此视图不包括使用动态共享内存基础架构分配的内存。列名称 列类型 描述 name text 共享内存...
Shared Server
在Shared Server内置连接池中，通过提取出会话相关上下文Session Context，将用户连接和后端进程进行了解绑，并且引入Dispatcher来进行代理转发：Session Context保存Session相关数据，存放于共享内存中，跨进程共享。存放数据包括：...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 说明 pg_shmem_allocations 视图不包括使用动态共享内存基础架构分配的内存。匿名分配是直接使用 ShmemAlloc()分配，而不是通过 ShmemInitStruct()或 ShmemInitHash...
已停售的实例规格
挂载ESSD云盘时，单实例随机读写性能最高可达100万IOPS，顺序读写性能最高可达32 Gbit/s 计算：处理器与内存配比为1:4 处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake），计算性能稳定 存储：I/O优化实例 支持ESSD云盘、...
WAL日志并行回放
并行任务执行框架 将一段共享内存根据并发进程数目进行等分，每一段作为一个环形队列，分配给一个进程。通过配置参数设定每个环形队列的深度：Dispatcher进程。通过将任务分发给指定的进程来控制并发调度。负责将进程执行完的任务从队列中...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版（兼容Oracle）系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache ...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版 系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache 目前包括：Global...
MySQL 实际内存分配情况介绍
共享内存 执行如下命令，即可查询示例的共享内存分配情况：show variables where variable_name in('innodb_buffer_pool_size','innodb_log_buffer_size','innodb_additional_mem_pool_size','key_buffer_size','query_cache_size');...
服务网格落地
SOFAMosn 的 Metric 迁移：蚂蚁团队使用了共享内存来共享新老进程的 Metric 数据，保证在迁移的过程中 Metric 数据也是正确的。内存复用机制 内存复用机制主要特征如下：基于 sync.Pool。Slice 复用使用 Slab 细粒度，提高复用率。常用结构...
MySQL实际内存分配情况介绍
MySQL 的内存大体可以分为共享内存和session私有内存两部分，下面将详细介绍各部分的构成。内存共享 执行如下命令，即可查询示例的共享内存分配情况：show variables where variable_name in('innodb_buffer_pool_size','innodb_log_buffer...
基于eRDMA增强型实例部署Redis
本文介绍如何在eRDMA增强型实例上部署共享内存通信SMC（Shared Memory Communication）和Redis，然后基于SMC测试Redis处理请求的能力。背景信息 共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享...
Linux服务器内存消耗过高
问题描述 Linux服务器的内存持续消耗过高，重启后可以恢复正常，但业务运行后问题依旧存在，而且没有明显高消耗内存进程存在。问题原因 slab消耗内存过多。解决方案 登录问题Linux服务器。执行free和top命令确认不存在占用大量内存的进程。...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
如何使用Prometheus监控Windows
进程内存工作集（Bytes）Major WMI（WorkingSet）进程的工作集是进程的虚拟地址空间中当前驻留在物理内存中的一组页面。工作集仅包含可分页内存分配，不包含不可分页的内存分配。进程I/O总量（Bytes）Major WMI（IODataBytesPerSec）进程...
如何使用Prometheus监控Windows
进程内存工作集（Bytes）Major WMI（WorkingSet）进程的工作集是进程的虚拟地址空间中当前驻留在物理内存中的一组页面。工作集仅包含可分页内存分配，不包含不可分页的内存分配。进程I/O总量（Bytes）Major WMI（IODataBytesPerSec）进程...
PolarDB PostgreSQL版架构介绍
其中BufferPool通过具名共享内存来分配，在进程重启后仍然有效。而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启前，某进程对Page上X锁，随后crash了，该X锁就没有进程来释放了。因此...
EventHandle
发现问题 接入 Node.js 性能平台后，我们在全局告警中看到某个客户的应用频繁提醒堆内使用内存占据堆上限超过 80%，这种情况基本上大概率就是发生内存泄漏了，联系到对应的客户后，进过客户的授权，我们看到了有问题的进程内存状况，如下图...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
RDS PostgreSQL实例的增强监控内存相关指标项优化
内存使用率计算逻辑优化 独享型实例 优化前：内存使用率=1-(/proc/meminfo.MemAvaliable/规格内存*100%)优化后：内存使用率=1-(/proc/meminfo.MemAvaliable/MemTotal*100%)通用型实例 内存使用率计算保持不变，计算逻辑为：内存使用率=1-...
Linux系统的ECS实例的系统、内存或进程出现异常，查看...
问题现象 Linux系统的ECS实例的系统、内存或进程出现异常，通过查看系统日志提示"page allocation failure"错误，表示系统因内存不足导致无法为新的内存页分配内存空间，内存页分配失败。什么是内存页 内存页（Memory Page）是操作系统中对...
ECS资源复用版
Memory资源 共享内存可用 MaxCompute实际购买成功的ECS实例的内存总数。共享内存计划上限 共享单元中包含的ECS实例的内存总数。共享内存使用 实际被使用的内存数量。说明 ECS共享资源可用值小于计划上限值，可能是由于ECS资源预定容量不足...
为何Pod中仍存在已恢复故障的“僵尸进程”？
在容器中，故障演练进程的父进程是PID=1的进程，容器中的一号进程不具有进程资源回收的能力，所以导致故障演练进程被终止之后，资源没有得到回收，从而成为僵尸进程。解决方案 通过手动共享PID Namespace解决该问题。在Pod的YAML文件中增加...
内存管理
本文为您介绍StarRocks BE（Backend）中内存使用分类、内存配置以及如何查看内存使用。内存分类 您可以在E-MapReduce控制台目标集群的 集群服务 页面，STARROCKS 服务的 配置 页面的 be.conf 页签，新增或修改BE相关配置，具体操作请参见 ...
Pod异常问题排查
本文介绍关于Pod异常问题的诊断流程、排查方法、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 检查Pod的状态 检查Pod的详情 检查Pod的配置 检查Pod的事件 检查Pod的日志 检查...通过Pod内存监控查看内存增长曲线，...
测试指标
semmns 个 System V系统级信号量的数量 shmmax 字节 System V共享内存段的最大大小 shmmni 个 系统中System V共享内存段标识符的数量 shmseg 个 每个进程System V共享内存段的最大数量 中间件指标 定义及解释 常用的中间件例如Tomcat、...
常见问题
进程监控数据各项指标什么含义 堆整体信息 rss：该进程实际使用的内存，包括堆内内存和堆外内存。heap_total：总的堆内存。heap_used：实际使用的堆内存。GC 信息 scavange_duration：scavange 垃圾回收时间占比。marksweep_duration：...
共享内存通信（SMC）常见问题
如果您在Alibaba Cloud Linux 3系统中启用了共享内存通信SMC（Shared Memory Communication），且使用过程中遇到无法正常通信、部分端口不可用、对比TCP没有应用性能提升等问题，可以参考本文提供的方案进行排查并解决。启用SMC后应用性能...
ePQ支持查看与分析执行计划
对于 slice1 计划分片，ePQ将使用六个执行单元（segments:6）分别启动一个进程来执行，这六个进程各自负责扫描表的一部分数据（Partial Seq Scan），通过Motion算子将六个进程的数据汇聚到一个目标端（PX Coordinator 6:1），传递给 Limit ...
- 产品推荐
- 这些文档可能帮助您