在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
GPU云服务器
GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用ACK服务实现GPU的成本优化
利用阿里云容器服务ACK部署GPU集群后，出于成本优化考虑，针对集群中GPU利用率不同的应用，选择不同的成本优化方案，可以实现集群的灵活管理，同时整体降低成本。例如，对于集群中GPU利用率不高的应用（例如推理应用），建议选择cGPU技术将...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
创建GPU集群
容器服务 Kubernetes 版支持对各种型号的计算型GPU资源进行统一调度和运维管理，能够显著提高GPU集群资源的使用效率。本文介绍如何创建GPU集群及查看节点挂载的GPU设备。前提条件 已创建ACK Pro版集群 或 已创建ACK专有版集群。创建GPU节点...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
ACK专有版集群迁移至ACK集群Pro版后升级共享GPU组件
ACK专有版集群 安装的共享GPU组件在 ACK集群Pro版 中无法正常使用，需在 ACK集群Pro版 中升级相关组件，以实现GPU的调度和隔离。本文介绍如何在 ACK集群Pro版 中升级共享GPU组件。前提条件 已将 ACK专有版集群 迁移至 ACK集群Pro版 中，且...
使用阿里云Prometheus监控集群GPU资源
前提条件 您已完成以下操作：创建GPU集群 或 创建专有GPU集群。开通 阿里云Prometheus服务。已安装阿里云Prometheus监控。具体操作，请参见 阿里云Prometheus监控。费用说明 在ACK集群中使用 ack-gpu-exporter 组件时，默认情况下它产生的...
异构计算产品最佳实践概览
GPU AI模型训练最佳实践 适用于AI图片训练场景，使用CPFS/NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行AI图片训练。在GPU实例上使用RAPIDS加速机器学习任务 在GPU实例上基于NGC环境使用RAPIDS加速库，加速数据科学和...
API概览
本产品（云原生数据仓库AnalyticDB MySQL版/2021-12-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK...
在ACK专有版集群中使用共享GPU调度
如您需要在 ACK专有版集群 中使用共享GPU调度基础版，请参见...基础版迁移专业版 安装共享GPU调度组件 运行共享GPU调度组件 使用共享GPU调度实现仅共享不隔离能力 使用共享GPU调度实现cGPU算力分配策略 解决专业版集群升级共享GPU调度失效问题
开启集群GPU监控
前提条件 已创建托管GPU集群或专有GPU集群。具体操作，请参见 创建GPU集群 或 创建专有GPU集群。已开通ARMS。具体操作，请参见 开通ARMS。背景信息 对运维人员来说，实现对Kubernetes的大规模GPU设备可监测能力至关重要。通过监测GPU相关...
PAI-TF概述
MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群，并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子（Operators）指定至特定的CPU或GPU上。基于GPU卡映射，您...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
多集群报警差异化配置
如下示例中，ack-cluster-1 为CPU集群，ack-cluster-2 为GPU集群，该示例可实现对 ack-cluster-2 即GPU集群的差异化配置，包括开启GPU报警、修改报警阈值和告警联系人。apiVersion:core.oam.dev/v1alpha1#定义分发目标集群，使用Cluster ID...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
创建Windows节点池
实例为非GPU云服务器架构。实例规格为4核 8GB及以上。Windows容器在内存使用超出Limitation后并不会执行OOM Killed。自2021年05月起，在v1.16及之后版本的ACK集群，新添加的Windows节点启动时会预留一定的资源（1.5核CPU、2.5 GB RAM、3 GB...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
集群存储根路径没有权限，导致集群服务启动失败的问题
可能出现该问题的情况：创建集群时，选择了OSS-HDFS服务，并选择了开通OSS-HDFS服务的Bucket作为集群存储根路径，但在 基础配置 阶段中使用了没有访问OSS权限的ECS应用角色，导致集群运行时没有该Bucket的访问权限。创建集群时，通过自定义...
连接方式概述
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的连接方式。ECS支持通过多种方式连接实例，包括阿里云提供的连接工具（例如Workbench、VNC等）和第三方客户端工具。您可以综合考虑目标实例的操作系统、本地设备的操作系统、...
自助诊断GPU节点问题
ACK集群提供节点级别的GPU诊断功能，供您进行部分GPU相关问题的故障排查。如果您在ACK Pro版集群中使用GPU节点时遇到问题，可以启用GPU节点自助诊断，采集GPU诊断的基础指标进行问题排查。本文介绍如何使用节点诊断功能，自助排查GPU节点...
产品优势
高可用性 E-HPC集群节点基于云服务器ECS、超级计算集群SCC和GPU云服务器组建，大大提高了集群的可用性。结果可视 E-HPC提供可视化服务功能，您可以通过可视化服务功能将计算结果转换为可读的图形化数据。例如您可以直接观看渲染后的动画...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
使用密码机实例集群
在弹出的对话框，再次单击 移出集群。修改集群名称和访问白名单 在 实例列表 页面，找到目标主密码机实例，在实例ID右侧单击 图标。在弹出的对话框，单击 图标，编辑集群名称和访问白名单。您可以输入单个IP地址或网段地址，每行输入1条...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
安装共享GPU调度组件
ACK Pro集群的实例规格架构设置为 GPU云服务器。其他配置，请参见 创建ACK集群Pro版。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。cGPU服务的隔离功能不支持以UVM的方式...
异构计算集群概述
更多信息，请参见 创建GPU集群 和 创建专有GPU集群。支持以GPU卡为单位申请集群GPU资源。支持自动扩缩容集群GPU节点。更多信息，请参见 基于GPU指标实现弹性伸缩。支持GPU共享调度和算力隔离功能。阿里云自研的GPU共享调度将多个模型推理...
通过onectl管理注册集群
RAM用户登录后，才能通过onectl管理注册集群，onectl会使用该RAM用户的AK/SK来操作阿里云的云服务资源，该RAM用户需要拥有以下权限来管理云上资源。说明 onectl RAM用户与组件的RAM用户是不同的RAM用户。容器服务的管理员权限：名为 ...
- 产品推荐
- 这些文档可能帮助您