GPU集群中加速AI模型训练

本文适用于AI图片的训练场景,使用文件存储CPFS/NAS作为共享存储,使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据,支持多个...

ACK集群实现GPU AI模型训练

场景描述 本方案适用于AI图片训练场景,使用CPFS和NAS作为共享存储,利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...

异构计算产品最佳实践概览

GPU AI模型训练最佳实践 适用于AI图片训练场景,使用CPFS/NAS作为共享存储,利用容器服务Kubernetes版管理GPU云服务器集群进行AI图片训练。在GPU实例上使用RAPIDS加速机器学习任务 在GPU实例上基于NGC环境使用RAPIDS加速库,加速数据科学和...

创建GPU集群

本文介绍如何创建GPU集群及查看节点挂载的GPU设备。前提条件 已创建ACK Pro版集群 或 已创建ACK专有版集群。创建GPU节点池 创建GPU节点池时,选择的节点机型需为GPU规格。关于创建节点池,请参见 创建节点池。关于可选的GPU ECS规格,请...

API参考

如果您熟悉网络服务协议和一种以上编程语言,推荐您调用API管理您的上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致,详情请参见 ECS API简介 和 ECS API概览。

使用RAPIDS加速机器学习最佳实践

方案优势 阿里云GPU云服务器资源丰富,可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...

使用RAPIDS加速图像搜索最佳实践

方案优势 阿里云GPU云服务器资源丰富,可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...

GPU云服务器计费

GPU云服务器计费相关功能与云服务器ECS一致,本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源(vCPU、内存和GPU)、镜像、块存储等资源,其中涉及计费的GPU资源如下表所示...

什么是推理引擎DeepGPU-LLM

DeepGPU-LLM是阿里研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里开发的一套推理引擎,具有易用性...

Tesla或GRID驱动安装指引

GPU实例本身并未配备相关驱动,只有安装了驱动的GPU实例,才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动,...如果GPU实例安装驱动后,在使用过程中遇到黑屏或其他问题,请参见 GPU云服务器常见问题。

安装共享GPU调度组件

ACK Pro集群的实例规格架构设置为 GPU云服务器。其他配置,请参见 创建ACK集群Pro版。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。目前GPU隔离模块cGPU 1.5.0以下版本不...

阿里异构计算产品总览

GPU云服务器 GPU云服务器是基于GPU应用的计算服务器GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面,GPU可以提供上百倍于CPU的计算能力。作为阿里弹性计算家族的一员,GPU云服务器结合了GPU计算力...

使用阿里Prometheus监控集群GPU资源

前提条件 您已完成以下操作:创建GPU集群 或 创建专有GPU集群。开通 阿里Prometheus服务。已安装阿里Prometheus监控。具体操作,请参见 阿里Prometheus监控。费用说明 在ACK集群中使用 ack-gpu-exporter 组件时,默认情况下它产生的...

PAI-TF概述

MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群,并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子(Operators)指定至特定的CPU或GPU上。基于GPU卡映射,您...

集群报警差异化配置

如下示例中,ack-cluster-1 为CPU集群,ack-cluster-2 为GPU集群,该示例可实现对 ack-cluster-2 即GPU集群的差异化配置,包括开启GPU报警、修改报警阈值和告警联系人。apiVersion:core.oam.dev/v1alpha1#定义分发目标集群,使用Cluster ID...

什么是神行工具包(DeepGPU)

神行工具包(DeepGPU)是阿里专门为GPU云服务器搭配的GPU计算服务增强工具集合,旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包(DeepGPU)中的组件可以帮助您更方便地利用阿里上GPU资源,...

GPU自助诊断

ECS管理控制台支持配置 GPU设备健康检查 功能,通过该功能可以对当前实例的GPU卡状态或驱动状态进行全方位诊断,方便您自行诊断当前实例的GPU卡或驱动是否存在异常,帮助您及时发现和解决存在的常见问题。前提条件 已创建GPU实例且该实例...

监控集群GPU资源最佳实践

前提条件 已创建Kubernetes集群(ACK专有版集群、ACK集群基础版、ACK集群Pro版 或 ACK Edge集群),本文以 ACK集群Pro版 为例。已安装GPU监控2.0相关组件。具体操作,请参见 开启集群GPU监控。背景信息 GPU监控2.0支持对集群GPU节点进行全...

使用原生AI监控大盘

节点监控大盘有以下可供您查看的指标:GPU Node Details:以表格的形式展示集群节点的相关信息,包括:节点名称(Name)节点在集群中的IP(IP)节点在集群中的角色(Role)节点的状态(Status)GPU模式:独占或共享(GPU Mode)节点拥有GPU...

接入NVIDIA GPU监控数据

集群名称 自定义设置Nvidia GPU集群的名称。设置该参数后,日志服务会为通过该Logtail采集配置采集到的Nvidia GPU监控数据添加 cluster=集群名称 的标签。重要 请确保该集群名称唯一,否则可能出现数据冲突。nvidia-smi路径 安装nvidia-smi...

什么是GPU容器共享技术cGPU

GPU容器共享技术cGPU是阿里基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡,从而实现业务的安全隔离,提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式,而且还...

接入Nvidia GPU监控数据

集群名称 自定义设置Nvidia GPU集群的名称。设置该参数后,日志服务会为通过该Logtail采集配置采集到的Nvidia GPU监控数据添加 cluster=集群名称 的标签。重要 请确保该集群名称唯一,否则可能出现数据冲突。nvidia-smi路径 安装nvidia-smi...

故障排查与常见问题

控制台访问集群异常问题排查 组件异常问题排查 ACK Serverless集群 故障排查 常见问题索引 集群类型 相关文档 托管版与专有版容器集群ACK 常见问题 ACK Serverless集群 常见问题 分布式容器平台ACK One 常见问题 容器服务ACK发行版 常见...

ACK集群实现GPU成本优化

背景信息 阿里云GPU团队推出了昊天cGPU方案:通过一个内核驱动,为容器提供了虚拟的GPU设备节点,从而实现了显存和算力的隔离;通过用户态轻量的运行库来配置容器内的虚拟GPU设备节点。昊天cGPU在做到算力调度与显存隔离的同时,也做到了...

什么是GPU云服务器

对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格(vCPU、内存及GPU)支持灵活变更,并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定,无法灵活变更。带宽一次性购买,无法...

命令行使用说明

您可以通过FastGPU的命令行,快速地部署GPU集群,管理资源的生命周期。还可以便捷地为集群安装深度学习环境,在集群运行代码,查看运行日志以及释放资源。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、本地机器、...

应用场景

GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景,神行工具包(DeepGPU)为了配合GPU云服务器的计算服务增强能力,也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的...

查看集群概况

智能运维系统通过红黄绿3种颜色来展示集群的健康状况:红色:表示集群已经出现了很严重的问题或者很严重的隐患,已经影响了您的使用,需要立即处理,否则会存在数据丢失,集群故障等问题。黄色:表示集群存在较严重的问题或隐患,可能会...

安装GPU拓扑感知调度组件

前提条件 已创建ACK Pro集群,且集群的实例规格类型选择为 GPU云服务器。更多信息,请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...

基于GPU指标实现弹性伸缩

前提条件 您已 创建GPU集群 或已 创建专有GPU集群。功能介绍 在高性能计算领域,例如深度学习模型训练、推理等场景,通常需要使用GPU来做计算加速。为了节省成本,您可以根据GPU指标(利用率、显存)来进行弹性伸缩。Kubernetes默认提供CPU...

基于MSE原生网关实现同城多活

原生网关默认采用多可用区部署,提供了地域级的、...压测执行到1分钟以后,手动把可用区I集群中的所有工作负载删除掉,模拟集群故障,观察流量损失。可以看到MSE在I可用区的集群挂掉后,可实现秒级切流,切流过程中仅有不到1%的流量损失。

产品优势

阿里GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式,神行工具包(DeepGPU)是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的优势。...

通过Docker安装并使用cGPU服务

该服务作为阿里容器服务Kubernetes版ACK(Container Service for Kubernetes)的组件对外提供服务,本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前,请确保GPU实例满足以下要求:GPU实例规格为gn7i、gn6i、gn6v、gn...

重启实例

GPU实例作为云服务器ECS的一类实例规格,保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式,如系统更新、重启保存相关配置等...

GPU实例上部署NGC环境

本文以搭建TensorFlow深度学习框架为例介绍如何在GPU实例上部署NGC环境。前提条件 打开 NGC网站,注册NGC账号。登录 NGC网站,获取NGC API Key并保存到本地。说明 登录NGC容器环境时需要验证您的NGC API Key。背景信息 NGC(NVIDIA GPU ...

通过原生网关管理多个ACK集群

如果A或者B集群故障,利用原生网关的路由能力会自动将流量分发到正常集群。推荐搭配网关的主动健康检测功能一起使用,由网关主动探测服务的IP地址可用性,从而带来更高效的故障自动切流。如下图所示,原生网关管理着来自两个ACK集群的A...

容器服务报警管理

报警配置功能提供统一管理容器报警场景的功能,包括容器服务异常事件报警、集群相关基础资源的关键指标报警、集群核心组件及集群中应用的指标报警。支持在创建集群时默认开启报警功能。容器服务的报警规则支持通过集群内部署CRD的方式配置...

通过CCR跨集群复制解决跨集群容灾场景

如果您的Elasticsearch(简称ES)集群出现灾难性事件,例如,硬件故障、软件错误、数据中心故障、自然灾害或其他导致服务中断的情况,您可以通过跨集群复制CCR(Cross Cluster Replication)功能将容灾集群丢失数据恢复。背景信息 CCR是...

AI负载调度

共享GPU调度专业版 GPU/CPU拓扑感知调度 调度基于节点异构资源的拓扑信息,如GPU卡之间的NVLink、PcieSwitch等通信方式、CPU的NUMA拓扑结构等,在集群维度进行最佳的调度选择,为工作负载提供更好的性能。CPU拓扑感知调度 GPU拓扑感知...

directx-device-plugin-windows

在阿里上使用虚拟化GPU云服务器时,directx-device-plugin-windows可以为Windows容器提供基于DirectX构建的GPU加速功能。关于虚拟化GPU云服务器的详细介绍,请参见 GPU虚拟化型。directx-device-plugin-windows仅支持v1.20.4及其以上版本...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库专属集群 云数据库 Redis 版 负载均衡 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用