应用场景
GPU云服务器应用场景 直播实时视频转码 阿里云GPU云服务器重点支持2019年天猫双11狂欢夜直播的实时视频转码，以高画质、低带宽、高分辨率、实时的综合优势服务于天猫双11狂欢夜当天直播业务4K、2K、1080P等各个分辨率的转码。具体说明如下...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，...涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU 云服务器》最佳实践
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
部署GPU云服务器
请按照标签顺序依次点击 新建>新建空白应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为 华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。需要修改自定义登录...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
安装并使用DeepGPU-LLM
安装 DeepGPU-LLM 根据您的业务场景不同，支持在GPU云服务器环境或者Docker环境下安装DeepGPU-LLM。在GPU云服务器环境下安装DeepGPU-LLM LLM模型的特性一般适用于GPU计算型实例，本文以GPU计算型实例规格gn7i为例，更多信息，请参见 GPU...
配置共享GPU调度节点选卡策略
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
异构计算集群概述
支持GPU拓扑感知调度功能：通过Node节点获取异构计算资源的拓扑结构，调度器端基于节点的拓扑信息，完成调度决策，为NVLINK、PCIe Switch、QPI和RDMA NIC提供最佳的调度选择，实现最优的运行性能。更多信息，请参见 GPU拓扑感知调度概述。...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
产品优势
使用EAIS实例：您只需要购买如下计算资源：产品 实例规格 指标数据 云服务器ECS ecs.r6.6xlarge 24 vCPU 192 GiB 弹性计算加速实例EAIS eais.ei-a6.4xlarge 16 TFLOPS/FP32，32 GB/显存 综上所述，如果您购买GPU实例，则只能在已有的固定...
共享GPU调度概述
完整隔离：同时支持GPU的显存和算力隔离。阿里云提供的共享GPU方案是一套低成本、可靠、用户友好的规模化GPU调度和隔离方案，欢迎使用。优势 说明 支持共享调度和显存隔离。单Pod单GPU卡共享调度和显存隔离，常用于支持模型推理场景。单Pod...
ACK支持的GPU机型
ACK支持的GPU节点卡型包括NVIDIA T4、NVIDIA P4、NVIDIA P100、NVIDIA A10、NVIDIA V100等，但不支持这些GPU的共享型和...详细信息，请参见 阿里云容器服务是否支持GPU虚拟化型（vGPU）实例？目前暂不支持ARM类型GPU实例：GPU计算型gn7r类型。
ADP底座支持GPU能力介绍
一、GPU支持型号信息 1.GPU卡支持情况 Nvidia Tesla家族。P系列，P100。该系列其他型号理论上支持，但是未验证，暂不推荐。V系列，V100。T系列，T4。A系列，A100，A10，A40，A30，A16。理论上可以支持老系列：M系列和K系列，但是未验证，...
VPC常见问题
每个专有网络支持云资源使用多少个私网网络地址？专有网络与经典网络的区别是什么？专有网络与经典网络有以下区别：经典网络类型的云产品，统一部署在阿里云的公共基础网络内，由阿里云统一规划和管理，更适合对网络易用性要求比较高的用户...
kube-scheduler
v1.24.3-ack-2.0 2022年09月21日 支持GPU共享调度。支持Coscheduling。支持ECI弹性调度。支持CPU智能调度。1.22版本变更记录 版本号 变更时间 变更内容 v1.22.15-aliyun-6.4.3.e858447b 2024年04月22日 自定义弹性资源优先级调度 修复删除...
ack-ai-installer
在共享GPU调度的基础上，ack-ai-installer（cgpu-installer）还结合了阿里云GPU容器共享技术cGPU，支持GPU显存隔离，使不同的应用程序或进程在GPU内存中相互隔离，避免各个任务之间相互干扰，提高整个系统的性能和效率。同时，ack-ai-...
什么是全球加速
源站连接 客户端流量从阿里云加速网络进入后端服务，支持以下两种网络连接类型：私网连接：主要针对部署在阿里云上的后端服务，支持的后端服务类型包括：云服务器 ECS（Elastic Compute Service）、弹性网卡 ENI（Elastic Network ...
金融云产品限制
产品 功能点 杭州（经典网络）杭州（专有网络）深圳（专有网络）上海（专有网络）ECS 远程管理 支持，具体请参见 配置VPN 支持，具体请参见 金融云连接示例（专有网络）支持，具体请参见 金融云连接示例（专有网络）支持，具体请参见 金融...
ack-arena
同时和阿里云的基础云服务深度集成，支持GPU共享、CPFS等服务，可以运行阿里云优化的深度学习框架，最大化利用阿里云异构设备的性能和成本的效益。ack-arena组件用于简化在ACK集群上安装Arena操作，您可以在容器服务控制台的组件管理或应用...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
2023年功能发布记录
计费概述 弹性管理（含预留模式）2023年09月 功能名称 变更类型 功能描述 相关文档 GPU实例在新加坡开服 优化 支持GPU实例T4卡型和A10卡型的地域新增新加坡。实例类型及使用模式 Kafka触发器增加投递并发最大值 优化 Kafka消息投递到函数...
2023年功能发布记录
计费概述 弹性管理（含预留模式）2023年09月 功能名称 变更类型 功能描述 相关文档 GPU实例在新加坡开服 优化 支持GPU实例T4卡型和A10卡型的地域新增新加坡。实例类型及使用模式 Kafka触发器增加投递并发最大值 优化 Kafka消息投递到函数...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
网络概述
Service网络支持以下多种模式，分别对接不同来源和类型的客户端的访问：ClusterIP ClusterIP类型的Service用于集群内部的应用间访问，如果您的应用需要暴露到集群内部提供服务，需使用ClusterIP类型的Service进行暴露。说明 创建Service时...
专线连接介绍
高速通道提供了一种快速安全连接阿里云与本地数据中心的方法。您可以通过租用一条运营商的专线将本地数据中心连接到阿里云接入点，建立专线连接。此连接绕过公网，更加安全可靠、速度更快、延迟更低。您可以选择使用点对点以太网连接或MPLS...
网络ACL概述
您可以自定义设置网络ACL规则，并将网络ACL与交换机绑定，实现对交换机中云服务器ECS实例流量的访问控制。功能发布及地域支持情况 公有云支持的地域 区域 支持网络ACL的地域 亚太 华东1（杭州）、华东2（上海）、华东5（南京-本地地域）、...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
使用Terway网络插件
说明 节点最大容器网络Pod数量≥Pod维度网络支持配置的Pod数量。节点最大Pod=节点容器网络Pod+主机网络Pod。在一个集群中，不支持terway-eni和terway-eniip组件共存。对于开启了IP双栈的集群，ECS实例提供的弹性网卡需支持同等数量的IPv4和...
使用Kubernetes默认GPU调度
阿里云容器服务ACK支持GPU的调度与运维管理。默认的GPU使用模式与Kubernetes社区GPU的使用方式一致。本文以运行GPU的TensorFlow任务为例，介绍如何快速部署一个GPU应用。注意事项 针对纳入K8s集群管理的GPU节点，建议您按照本文示例中标准...
安装Blade
获取Token Blade的SDK运行时需要鉴权Token，且能够在阿里云环境中使用。请使用钉钉搜索21946131群号，加入Blade客户群，从而获取试用Token。安装Blade用于优化端侧部署 面向端侧部署优化时，Blade仅支持从TensorFlow模型转换为MNN，并进行...
GPU FAQ
排查GPU监控常见问题 可用的GPU数目少于实际GPU数目 GPU节点中重启Kubelet和Docker服务异常 修复GPU实例重启或被置换后设备ID变更问题 阿里云容器服务是否支持GPU虚拟化型（vGPU）实例？如何在已有集群的GPU节点上手动升级Kernel？修复GPU...
阿里云Landing Zone服务内容说明
梳理身份使用场景，根据场景设计联邦认证集成方案 网络规划方案 基于Landing Zone调研与评估的结果，为客户设计网络规划方案，包含：网络接入方案：主要规划IDC接入云平台网络的方案，包括接入层防火墙设计、应用层防火墙设计，跳板机方案 ...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
企业云化IT治理服务工作说明书
优先使用基础设施即代码（IaC）的方式完成实施工作，对不支持 IaC 的云服务与配置，使用阿里云 OpenAPI 或手动配置。对于代码库与流水线，优先复用客户已有 DevOps 工具链。客户可根据实际服务范围采购多个实施服务包。本服务不包含：实施...
Landing Zone咨询服务内容说明
1.服务概述 1.1 服务说明 Landing Zone咨询服务是在客户系统上云的过程中，提供基于阿里云产品体系的云治理方案设计与方案技术验证。通过该服务帮助客户进行资源管理、财务管理、身份管理、网络规划、安全防护、合规管理、运维管理、基础...
Pytorch
Processor名称 Pytorch版本 是否支持GPU版本 pytorch_cpu_1.6 Pytorch 1.6 否 pytorch_cpu_1.7 Pytorch 1.7 否 pytorch_cpu_1.9 Pytorch 1.9 否 pytorch_cpu_1.10 Pytorch 1.10 否 pytorch_gpu_1.6 Pytorch 1.6 是 pytorch_gpu_1.7 Pytorch...
- 产品推荐
- 这些文档可能帮助您