什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed优化原理 场景说明 使用单机多卡或多机多卡进行AI分布式训练时，分布式通信的线性度可作为单卡训练扩展到多卡的性能指标，线性度的计算方式如下：单机内部扩展性：线性度=多卡性能/单卡性能/单机卡数 多机之间扩展性：线性度=...
实践教程概览
使用IMB软件和MPI通信库测试E-HPC通信性能 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植...
安装ACCL库
ACCL（Alibaba Collective Communication Library）是一款高性能通信库，提供了AllReduce、AllToAllV、Broadcast等常用集合操作接口以及点到点Send/Recv接口，为多机多卡训练提供高效的通信支持。本文为您介绍如何安装ACCL库。背景信息 ...
使用IMB软件和MPI通信库测试集群通信性能
本文以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。背景信息 IMB（Intel MPI Benchmarks）用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI（Message Passing Interface）是支持多编程语言编程的并行计算...
查询网络通信距离（NCD）
PAI灵骏提供了统一的网络通信距离NCD（Network Communication Distance）查询接口，供您对GPU节点（或网卡）间的通信距离进行查询，以实现更优的任务调度，获得最佳的训练性能。本文为您介绍NCD的基本概念、使用NCD的原因以及如何使用NCD。...
PAI灵骏智算服务概述
PAI灵骏 是一种大规模高密度计算服务，全称“PAI灵骏智算服务”，提供高性能AI训练、高性能计算所需的异构计算算力服务。PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动...
基于eRDMA增强型实例部署AI训练集群
在NCCL底层通信链接上，有多种不同的传输方式，例如单机内部多卡P2P通信以及多机上的传统socket通信（如VPC网络）和高性能的InfiniBand（IB）通信，其中eRDMA是一种基于RDMA的传输方式，具有极低的延迟，并且在性能上接近RDMA网络的优势。...
并发用户、RPS、TPS的解读
如何评价系统的性能 针对服务器端的性能，以TPS为主来衡量系统的性能，并发用户数为辅来衡量系统的性能，如果必须要用并发用户数来衡量的话，需要一个前提，那就是交易在多长时间内完成，因为在系统负载不高的情况下，将思考时间（思考时间...
网络最大传输单元MTU
使用非TCP（UDP/ICMP）的巨型帧在MTU不匹配的场景下进行通信时，可能因为分片而导致网络性能下降。更多信息，请参见 ECS互访链路MTU限制 和 云网络产品MTU限制。因此，建议在使能巨型帧的ECS内部署业务之前，先测试业务场景下是否存在因为...
建立gRPC连接
gRPC是一个开源高性能RPC框架，基于HTTP2协议设计开发，使用Protocol Buffers（protobuf）序列化技术对数据进行序列化传输，为开发者提供了一种跨语言、跨平台的服务间通信方式，开发者在客户端上可以像调用本地程序一样调用远程服务。...
功能特性
灵骏满足AI、HPC等计算密集场景需要的高性能算力，可实现高性能、大规模的池化算力，满足自动驾驶、科研、金融、生物制药等多行业的异构算力需求。本文为您介绍灵骏的功能特性。高速RDMA网络架构 阿里巴巴2016年开始投入专项研究RDMA...
网络优化
整体来看高速通道建立了高速、稳定、安全的私网通信，从性能层面无疑是最佳选择，但由于几种方案适用的场景差异性比较大，简单地横向比较在实践中的意义并不大，具体情况还是需要结合具体场景进行选择。作为连接 IDC 与云上专有网络 VPC 的...
设备接入引导
SL 651：建议采用TLS方式接入，支持使用服务端单向认证、设备端和服务端证书OCSP能力、设备和服务端双向安全认证等能力，适用于遥测站设备与阿里云企业物联网平台之间的通信，用于水文监测数据采集与传输。云端开发流程如下：接入中国电信...
功能发布记录
2022年11月 更新事项 描述 AI Earth 地球科学云平台正式发布 平台集公开数据检索、在线处理分析（工具箱模式+开发者模式）、遥感AI模型训练为一体，为广大科研用户和政企用户提供便捷高效的一站式遥感云计算服务。2022年08月 更新事项 描述...
RDMA：使用高性能网络进行分布式训练
在大模型的AI并行计算中，确保算力最优计算性能，需要通过降低通信量、计算和通信交叠、提升通信效率达到通信的最优。PAI灵骏智算（Serverless）是阿里云基于软硬件一体优化技术，构建高性能异构算力底座，面向大规模深度学习及融合智算，...
eRDMA
弹性RDMA（Elastic Remote Direct Memory Access，简称eRDMA），是阿里云提供的低延迟、大吞吐、高弹性的高性能RDMA网络服务。eRDMA的能力实现需要基于支持eRDMA能力的实例规格，创建挂载支持弹性RDMA能力的网卡，才能够实现具有大规模RDMA...
如何进行微信小程序压测
为了避免在使用过程中出现因为系统性能瓶颈而影响用户体验的问题，小程序在新功能上线前需要做好压力测试，让系统在面对流量突增时也能保持稳定。常见小程序压测场景 在新系统或功能上线前了解其性能状况，确保上线后保持平稳运行。在对...
如何进行微信小程序压测
为了避免在使用过程中出现因为系统性能瓶颈而影响用户体验的问题，小程序在新功能上线前需要做好压力测试，让系统在面对流量突增时也能保持稳定。常见小程序压测场景 在新系统或功能上线前了解其性能状况，确保上线后保持平稳运行。在对...
测试指标
编写目的和适用对象 本指标适用于使用性能测试进行性能测试项目技术质量评价依据，规范技术测试结果评价，统一性能测试技术测试质量度量。应用系统技术质量度量指标范围广泛，本文难以涵盖全部。预期读者为测试管理人员、测试实施人员、...
性能测试技术指南
本文从技术角度制定性能测试实施过程中关键的技术规范。这些规范可以帮助PTS的用户更好地从技术上来规避系统上线后的风险、评估线上系统的真实能力、根据业务模型摸底线上能力以提前应对。适用范围 适用于所有需要性能测试的项目。对性能...
eRDMA概述
众多应用都是基于TCP/IP构建的，但随着数据中心相关的业务蓬勃发展，应用对于网络的性能需求（如延迟、吞吐）越来越高，受限于TCP/IP的局限性（如拷贝开销大、协议栈处理厚、CC算法复杂、上下文切换频繁等），TCP/IP的网络通信性能已经成为...
测试分析及调优
本文通过编写性能测试分析及调优的相关流程和方法，帮助研发人员、性能测试人员或者运维人员快速地进行性能测试、瓶颈定位及调优。系统的性能是由很多因素决定的，本文很难面面俱到，但是可以作为分析系统性能的一个指导。适用对象和范围 ...
按量计费（后付费）
其中，使用资源IP数的计算方式如下：若您未使用IP扩展功能：并发模式下：使用资源IP数=压测最大并发/500（向上取整）RPS模式下：使用资源IP数=压测最大RPS/4000（向上取整）若您使用了IP扩展功能，则使用资源IP数即为指定IP数。重要 在进行...
网络
功能介绍 配置项 功能描述 IPv6访问 IPv4的网络地址资源不足严重制约了互联网的发展，而IPv6的引入使得该问题得以解决，阿里云 全站加速 DCDN 长期致力于互联网技术的健康、可持续发展。我们默认为您的站点免费开启IPv6服务，客户端可根据...
功能发布记录
本文介绍弹性高性能计算产品功能和对应的文档动态。2023年 2023年9月 功能名称 变更类型 功能描述 发布时间 相关文档 通过Serverless集群提交作业 新增 Serverless集群的计算节点由ECI实例组成，您只需提供打包好的容器镜像，即可使用ECI...
什么是IPv6网关
IPv6网络类型 是否开通IPv6公网带宽 是否设置仅主动访问规则 IPv6地址通信能力 私网 否 否 私网通信 公网 是 否 私网通信 公网通信 是 私网通信 仅可主动访问公网 应用场景 场景一：业务快速支持IPv6，构建云上隔离IPv6环境 为已有VPC开启...
欠费说明
按量抵扣资源包超过有效期后的影响 当您购买的资源包在有效期期间的VUM额度用完后，系统会自动转换为按量计费（后付费）。按量计费欠费后的影响请参见上文 按量计费欠费说明。按量计费的计费详情请参见 按量计费（后付费）。超过资源包有效...
不同性能压测工具对比
本文选取了目前主流的几种性能压测工具，包括阿里云PTS、Apache JMeter、ApacheBench（ab）、wrk，为您从多方面分析这些压测工具的优缺点。阿里云PTS 性能测试PTS（Performance Testing Service）是阿里云一款商业化的性能测试工具。支持按...
阿里云异构计算产品总览
什么是异构计算 异构计算（Heterogeneous Computing）是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，目前主要包括GPU云服务器、FPGA云服务器 以及弹性加速计算实例EAIS 等。异构计算能够让最适合的专用硬件去服务最适合...
控制面核心组件
Pilot 落地实践 在开始落地实践部分之前，先引入 Istio 的架构图：出于性能等方面的综合考虑，在落地过程中，蚂蚁团队将控制面的组件精简为 Pilot 和 Citadel 两个组件，不使用因性能问题争议不断的 Mixer，不引入 Galley 来避免多一跳的...
产品优势
本文介绍Link WAN网管核心与自建核心能力间的差异以及D2D通信技术。能力差异 能力 Link WAN（LoRaWAN）其他LoRa平台 LoRaWAN国际标准 遵循LoRaWAN国际标准协议。标准纷乱，彼此互不相通，系统维护成本高。技术 阿里云自主迭代，跟随联盟...
什么是GPU云服务器
GPU云服务器提供了GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。其作为阿里云弹性计算家族的一员，结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求，例如，在并行运算方面，使用GPU...
什么是AI通信加速库Deepnccl
Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL（NVIDIA Collective ...
什么是Deepytorch Training（训练加速）
产品优势 训练性能显著提升 Deepytorch Training通过整合分布式通信和计算图编译的性能特点，可以实现端到端训练性能的显著提升，使得模型训练迭代速度更快，不仅减少了资源的使用成本，还缩短了迭代的时间成本，为您带来低成本体验。...
基本概念
本文为您介绍灵骏中用到的基本概念，帮助您正确理解和使用。使用灵骏的过程中，您可以根据业务需求规划多个集群，集群可进一步细化为节点分组，通过对集群、节点的规划来高效率利用节点资源。概念 说明 集群 集群是带有灵骏优化套件的高...
搭建高性能网络ACK集群
阿里云托管版容器服务ACK集群，支持自研的Terway网络插件，该插件可以有效减少因容器而引入的网络性能下降，可以基本达到服务器之间直接通信的网络性能。本最佳实践主要是一个性能测试方面的实践，指导客户进行POC测试等。解决问题 Pod之间...
《互联网站管理工作细则》（信部电[2005]501号）
信息产业部关于发布《互联网站管理工作细则》的通告 中华人民共和国信息产业部 信部电[2005]501号 各省、自治区、直辖市通信管理局，各互联网接入服务提供者、各互联网信息服务提供者、各IP地址备案单位、各域名注册服务机构：为切实加强...
高性能
云数据库RDS提供高性能实例，包括参数优化、SQL优化建议等...性能白皮书 RDS MySQL性能白皮书 RDS SQL Server性能白皮书 RDS PostgreSQL性能白皮书 开始使用RDS 快速入门 学习路径图 相关文档 RDS产品选型 自建数据库与RDS性能对比的注意事项
使用高性能容器应用
通过高性能容器应用，您可以在E-HPC集群上通过高性能容器应用启动高性能计算作业，从而降低业务部署的复杂性。高性能容器应用在支持E-HPC全部原有能力（如弹性伸缩、性能监控等）的基础上，可为您提供更加高效和便捷的计算解决方案。本文...
通信消息相关问题
本文介绍设备与物联网平台和物联网平台与服务器端的通信相关问题和解决方法。类目 问题 上下行消息 设备重复收到消息，如何去重？设备使用MQTT协议接入物联网平台后，接收不到通信数据，怎么办？物联网平台发送消息比较慢，存在超时情况，...
- 产品推荐
- 这些文档可能帮助您