共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
共享内存通信（SMC）常见问题
如果您在Alibaba Cloud Linux 3系统中启用了共享内存通信SMC（Shared Memory Communication），且使用过程中遇到无法正常通信、部分端口不可用、对比TCP没有应用性能提升等问题，可以参考本文提供的方案进行排查并解决。启用SMC后应用性能...
启动ACCL容器
PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信，故而建议为容器分配足够的共享内存空间。其他可行选项包括：shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
持久缓存池（Warm Buffer Pool）
技术原理 PolarDB MySQL版 的持久缓存池功能利用了Linux的共享内存（Shared Memory）技术，将物理机内部的InnoDB缓存池从 PolarDB 的进程中独立起来，以实现主节点快速重启的能力。持久缓存池的技术架构如下：缓存池的控制信息、Page的控制...
Alibaba Cloud Linux 2系统的ECS实例中SGX驱动在特定...
在物理内存消耗殆尽后，会使用共享内存以交换出加密内存，并最终使普通内存也消耗殆尽。解决方案 当遇到该问题时，您可以参考以下方案处理。登录实例，执行以下命令，确认系统内核版本适用此方案。uname-r 系统显示类似如下。4.19.91-23.al...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。说明 此视图不包括使用动态共享内存基础架构分配的内存。列名称 列类型 描述 name text 共享内存...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 说明 pg_shmem_allocations 视图不包括使用动态共享内存基础架构分配的内存。匿名分配是直接使用 ShmemAlloc()分配，而不是通过 ShmemInitStruct()或 ShmemInitHash...
内存诊断
共享内存 共享内存允许两个或更多进程访问同一块内存，是进程通信方式之一。tmpfs Linux临时文件系统，是一种基于内存的文件系统，读写的文件内容只存在内存中。hugetlb 基于文件系统的大页内存。内核内存 内核态内存重点关注Sunreclaim及...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版（兼容Oracle）的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能...
Shared Server
PolarDB PostgreSQL版（兼容Oracle）针对上述问题，从数据库内部提供了 Shared Server（本文简称SS）内置连接池功能，采用共享内存+Session Context+Dispatcher转发+Backend Pool的架构，实现了用户连接与后端进程的解绑。后端进程具备了...
Resource Manager
背景信息 PolarDB PostgreSQL版 的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，可能会导致...
Resource Manager
背景信息 PolarDB PostgreSQL版（兼容Oracle）的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，...
文件存储
pg_dynshmem 用于动态共享内存的文件。所有节点存储一份 pg_snapshots 导出的快照（snapshot）。pg_replslot replication slot数据。pg_stat_tmp 统计子系统的临时文件。pg_stat 统计子系统的持久化文件。pg_serial 已提交的Serializable...
数据库
等待事件类型描述 等待事件类型 等待事件名称 描述 LWLock ShmemIndexLock 正等待在共享内存中查找或者分配空间。OidGenLock 正等待分配或者赋予OID。XidGenLock 正等待分配或者赋予事务 ID。ProcArrayLock 正等待在事务结尾得到快照或者...
Global Plan Cache
当不经常使用或者失效的GPC被清理以后，会释放出共享内存空间，之后本地的Plan Cache会尝试移动到GPC中。polar_enable_gpc_level GPC功能的开启级别，允许动态修改。取值如下：0（默认）：表示不使用GPC。1：表示仅在只读节点（RO）上使用...
全局执行计划缓存
当不经常使用或者失效的GPC被清理以后，会释放出共享内存空间，之后本地的Plan Cache会尝试移动到GPC中。polar_enable_gpc_level GPC功能的开启级别，允许动态修改。取值如下：0（默认）：表示不使用GPC。1：表示仅在只读节点（RO）上使用...
全局执行计划缓存
当不经常使用或者失效的GPC被清理以后，会释放出共享内存空间，之后本地的Plan Cache会尝试移动到GPC中。polar_enable_gpc_level GPC功能的开启级别，允许动态修改。取值如下：0（默认）：表示不使用GPC。1：表示仅在只读节点（RO）上使用...
基于eRDMA增强型实例部署Redis
本文介绍如何在eRDMA增强型实例上部署共享内存通信SMC（Shared Memory Communication）和Redis，然后基于SMC测试Redis处理请求的能力。背景信息 共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享...
如何排查slab_unreclaimable内存占用高的原因？
slab_unreclaimable是指在Linux内存管理中由slab分配器分配的且被标记为不可回收（unreclaimable）的内存。当不可回收内存占用总内存的比例过高时，将会影响可用内存与系统性能。本文介绍如何排查Alibaba Cloud Linux系统slab_...
Alibaba Cloud Linux常见问题
Linux内存碎片化的应对措施 如何在Alibaba Cloud Linux实例中通过“/etc/resolv.conf”文件自定义配置DNS ECS实例中的应用偶尔出现丢包现象并且内核日志（dmesg）存在“kernel:nf_conntrack:table full,dropping packet”的报错信息 ...
Linux内存碎片化的应对措施
Linux系统长时间运行会出现内存碎片化的问题，本文主要提供了应对该问题的一些措施。问题现象 实例内部署的业务偶然出现响应时间过长或者系统调用时间过长，系统的 sys 指标也会相应的增高，伙伴系统会缺少高阶内存（order 大于3的内存）。...
共享型
共享内存型e4包括的实例规格及指标数据如下表所示。实例规格 vCPU 内存（GiB）网络带宽（Gbit/s）网络收发包PPS（万）多队列 弹性网卡 单网卡私有IP ecs.e4.small 1 8.0 0.5 5 1 2 2 ecs.e4.large 2 16.0 0.5 10 1 2 2 ecs.e4.xlarge 4 32....
Alibaba Cloud Linux常见问题
本文介绍Alibaba Cloud Linux镜像的常见问题和常见操作指导。功能咨询 在阿里云ECS中运行Alibaba Cloud Linux是否收费？Alibaba Cloud Linux镜像本身是免费的，但是您需要为ECS实例等其他资源的支付费用。Alibaba Cloud Linux支持哪些阿里...
ECS资源复用版
Memory资源 共享内存可用 MaxCompute实际购买成功的ECS实例的内存总数。共享内存计划上限 共享单元中包含的ECS实例的内存总数。共享内存使用 实际被使用的内存数量。说明 ECS共享资源可用值小于计划上限值，可能是由于ECS资源预定容量不足...
基于TairString实现高性能分布式锁
如果一台主机上的多个进程需要并发访问某项资源，则可以使用进程间同步的原语，例如信号量、管道、共享内存等。但如果多台主机需要同时访问某项资源，就需要使用一种在全局可见并具有互斥性的锁了。这种锁就是分布式锁，可以在分布式场景中...
资源组管理
资源组在共享内存中可以进行数据交换和共享，以便实现进程间通信和协作。如果MEMORY_SHARED_QUOTA参数设置为100%，那么资源组内部的所有内存都将被视为共享内存，所有任务都可以使用这块内存；如果MEMORY_SHARED_QUOTA参数值小于100%，系统...
Alibaba Cloud Linux 3镜像发布记录
阿里云定期发布Alibaba Cloud Linux 3镜像的更新版本，以确保用户可以获取到最新的操作系统特性、功能和安全补丁。您可以通过本文查看Alibaba Cloud Linux 3镜像最新的可用版本及更新内容。背景信息 如无特殊声明，更新内容适用于云服务器...
功能发布记录（2.0）
RTC SDK发布地域包含华北1（青岛）、华北2（北京）、华北3（张家口）、华东1（杭州）、华东2（上海）、华南1（深圳）、华北5（呼和浩特）及中国香港，并且覆盖iOS、Android、Windows、Mac、Electron、小程序、Web、Unity及Linux平台，各...
SAP NetWeaver 规划指南
对于 Linux，请使用“网络文件系统”(NFS)作为中央系统的 NetWeaver 二进制文件/配置文件磁盘的文件共享系统（/sapmnt/[SID]，其中[SID]是系统 ID）。更多详细信息，请参阅 SAP 标准文档。在此架构中，SAP NetWeaver 系统可将工作负载分配...
实例FAQ
持久内存作为内存使用时，我想用持久内存型实例来运行我的参数服务器（PS），持久内存设置为内存使用方式，可以直接部署吗？购买持久内存型实例后，我如何将持久内存设置为本地盘使用方式？我的哪些应用需要更高性能的本地盘？持久内存作为...
功能特性
设置或重置服务器密码 创建和更换密钥（Linux）阿里云SSH密钥对是一种安全便捷的登录认证方式，用于在SSH协议中进行身份验证和加密通信。由公钥和私钥组成且仅支持Linux实例，满足您对更高安全性、便利性的业务需求。创建和更换密钥（Linux...
集群概述
软件 E-HPC提供了业界主流的科学计算应用、编译器运行时库、MPI通信库等软件，您可以根据需求安装使用。更多信息，请参见 软件概述。集群状态 创建中：集群创建初始状态，对应ECS实例创建。安装中：集群处于安装软件状态。初始化中：集群...
发布日志
RTC SDK发布地域包含华北1（青岛）、华北2（北京）、华北3（张家口）、华东1（杭州）、华东2（上海）、华南1（深圳）、华北5（呼和浩特）及中国香港，并且覆盖iOS、Android、Windows、Mac、Web、Unity及Linux平台，各平台的发布日志如下所...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
元数据仓库共享模型标准访问方式
您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_finish：基础元数据模型通信表。data_security_finish:数据安全模块共享模型通信表。data_service_finish:...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
- 产品推荐
- 这些文档可能帮助您