API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
GPUConfig
名称 类型 描述 示例值 object 函数 GPU 配置信息。gpuMemorySize integer GPU 显存规格，单位为 MB，为 1024MB 的倍数 2048 gpuType string GPU 卡类型。fc.gpu.tesla.1 表示 GPU 实例 Tesla 系列 T4 卡型。fc.gpu.ampere.1 表示 GPU 实例...
GPU自助诊断
ECS管理控制台支持配置 GPU设备健康检查 功能，通过该功能可以对当前实例的GPU卡状态或驱动状态进行全方位诊断，方便您自行诊断当前实例的GPU卡或驱动是否存在异常，帮助您及时发现和解决存在的常见问题。前提条件 已创建GPU实例且该实例...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
在GPU实例上配置eRDMA
弹性网卡（Elastic Network Interfaces，简称ENI）是专有网络VPC中的虚拟网络接口，用于连接云服务器与专有网络。更多信息，请参见 弹性网卡概述。弹性RDMA（Elastic Remote Direct Memory Access，简称eRDMA）是阿里云提供的低延迟、大...
开启集群GPU监控
新一代NVIDIA支持使用数据中心GPU管理器DCGM（Data Center GPU Manager）来管理大规模集群中的GPU，GPU监控2.0基于NVIDIA DCGM构建功能更强大的GPU监控体系。DCGM提供了种类丰富的GPU监控指标，有如下功能特性：GPU行为监控 GPU配置管理 ...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
实例类型及使用模式
说明 GPU实例的闲置模式目前只针对整卡显存使用，即您的容器GPU配置必须为16 GB（T4卡型）或24 GB（A10卡型）。若您需要使用，请单击 闲置状态GPU实例申请链接 或 加入钉钉用户群（钉钉群号：11721331）进行使用资格申请。计费方式 活跃...
实例类型及使用模式
说明 GPU实例的闲置模式目前只针对整卡显存使用，即您的容器GPU配置必须为16 GB（T4卡型）或24 GB（A10卡型）。若您需要使用，请单击 闲置状态GPU实例申请链接 或 加入钉钉用户群（钉钉群号：11721331）进行使用资格申请。计费方式 活跃...
人工智能最佳实践
提供GPU共享虚拟化，支持以1/2、独占方式使用GPU，允许业务以更精细化的方式配置GPU实例。效率优先的AI应用场景 屏蔽运维GPU集群的繁重负担（驱动/CUDA版本管理、机器运行管理、GPU坏卡管理），使得开发者专注于代码开发、聚焦业务目标的...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
图像处理最佳实践
提供GPU共享虚拟化，支持以1/2、独占方式使用GPU，允许业务以更精细化的方式配置GPU实例。效率优先的图像处理场景 屏蔽运维GPU集群的繁重负担（驱动/CUDA版本管理、机器运行管理、GPU坏卡管理），使得开发者专注于代码开发、聚焦业务目标的...
PAI-TF任务参数介绍
如果 worker 的 gpu 配置为0，则系统会调度到CPU集群，不消耗GPU，以保障调度。ps 对应的 gpu 默认值为0，worker 对应的 gpu 默认值为100。否 cpu ps 或 worker 申请的CPU数量，取值100表示一个CPU核。600 否 memory ps 或 worker 申请的...
实时推理场景
配置弹性伸缩并验证 本文为您介绍两种配置GPU实例的弹性伸缩策略的方法，分别为：通过Serverless Devs工具配置GPU实例的弹性伸缩策略 通过函数计算控制台配置GPU实例的弹性伸缩策略 配置完弹性伸缩策略后，您可以通过压测的方式查看弹性...
实时推理场景
配置弹性伸缩并验证 本文为您介绍两种配置GPU实例的弹性伸缩策略的方法，分别为：通过Serverless Devs工具配置GPU实例的弹性伸缩策略 通过函数计算控制台配置GPU实例的弹性伸缩策略 配置完弹性伸缩策略后，您可以通过压测的方式查看弹性...
计费概述
0.00011元/GB*秒 阶梯1(3000万,1.5亿]0.00009元/GB*秒 阶梯2(1.5亿,6亿]0.00007元/GB*秒 阶梯3>6亿 0.00005元/GB*秒 闲置GPU使用量 GPU实例的闲置模式目前只针对整卡显存使用，即您的容器GPU配置必须为16 GB（T4卡型）或24 GB（A10卡型）。...
计费概述
0.00011元/GB*秒 阶梯1(3000万,1.5亿]0.00009元/GB*秒 阶梯2(1.5亿,6亿]0.00007元/GB*秒 阶梯3>6亿 0.00005元/GB*秒 闲置GPU使用量 GPU实例的闲置模式目前只针对整卡显存使用，即您的容器GPU配置必须为16 GB（T4卡型）或24 GB（A10卡型）。...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
图像处理最佳实践
提供GPU共享虚拟化，支持以1/2、独占方式使用GPU，允许业务以更精细化的方式配置GPU实例。效率优先的图像处理场景 屏蔽运维GPU集群的繁重负担（驱动/CUDA版本管理、机器运行管理、GPU坏卡管理），使得开发者专注于代码开发、聚焦业务目标的...
音视频处理最佳实践
配置GPU预留实例。关于配置预留实例的具体操作，请参见 配置预留实例。配置完成后，您可以在规则列表查看预留的GPU实例是否就绪。即 当前预留实例数 是否为设置的预留实例数。使用cURL测试函数。在函数详情页面，单击 触发器管理 页签，...
深度学习框架及开通说明
开通深度学习 在相应工作空间内，配置GPU资源即可使用深度学习。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。在 工作空间详情 区域，单击 计算资源 后的 资源管理...
音视频处理最佳实践
您可以通过 函数计算 控制台、SDK或Serverless Devs来体验GPU实例的最佳实践。本文以Python语言为例，说明如何使用Serverless Devs开发工具，将原始视频经过函数代码的转码处理，从.mp4转换为.flv格式。应用场景和优势 随着越来越多的强...
基于异步任务调用GPU函数
提供GPU虚拟化，支持以1/8、1/4、1/2或独占方式使用GPU，允许业务以更精细化的方式配置GPU实例。提供异步管理、任务去重、任务监控、任务重试、事件触发、结果回调和任务编排等一系列成熟的异步任务处理能力。屏蔽运维GPU集群的繁重负担，...
基于GPU指标实现弹性伸缩
步骤二：配置GPU指标Adapter Rules 一、查询GPU指标 查询GPU相关指标。详细信息，请参见 监控指标说明。二、配置Adapter Rules 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，...
基于GPU指标实现弹性伸缩
步骤二：配置GPU指标Adapter Rules 一、查询GPU指标 查询GPU相关指标。详细信息，请参见 监控指标说明。二、配置Adapter Rules 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，...
人工智能最佳实践
提供GPU共享虚拟化，支持以1/2、独占方式使用GPU，允许业务以更精细化的方式配置GPU实例。效率优先的AI应用场景 屏蔽运维GPU集群的繁重负担（驱动/CUDA版本管理、机器运行管理、GPU坏卡管理），使得开发者专注于代码开发、聚焦业务目标的...
Triton Inference Server镜像部署
您只需要在部署服务时配置GPU资源，即可使用GPU进行推理计算。如果使用批处理功能，此时在模型配置文件 config.pbtxt 中设置 max_batch_size 参数的方式无效，您需要自行在execute函数中实现请求批处理的逻辑。request与response必须一一...
云产品范围
专属区域可以支持的云产品范围 专属区域支持的云产品范围 IaaS产品：云服务器 ECS、弹性裸金属服务器 EBM、GPU 云服务器、FPGA 云服务器、Alibaba Cloud Linux、容器服务 ACK、容器镜像服务 ACR、块存储 EBS、对象存储 OSS、文件存储 NAS、...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
directx-device-plugin-windows
在阿里云上使用虚拟化GPU云服务器时，directx-device-plugin-windows可以为Windows容器提供基于DirectX构建的GPU加速功能。关于虚拟化GPU云服务器的详细介绍，请参见 GPU虚拟化型。directx-device-plugin-windows仅支持v1.20.4及其以上版本...
使用产品前的准备工作
不同模块对云资源的依赖 目前数据管理平台不同的功能，需要挂载的云资源如下：功能模块 功能描述 所需挂载云资源 任务调度 产品上创建的任务发送到计算资源上运行 ACK 容器服务 ECS 云服务器 任务中包含需要使用GPU的算子 GPU 云服务器 ...
DeleteRouteServiceInCen-删除云服务
调用DeleteRouteServiceInCen接口删除基础版转发路由器云服务配置。接口说明 DeleteRouteServiceInCen 接口属于异步接口，即系统会先返回一个 RequestId，但云服务配置并未删除完成，系统后台的删除任务仍在进行，如果您输入的参数值有误，...
AliyunServiceRoleForGaVpcEndpoint
如果您的 全球加速 不存在服务关联角色AliyunServiceRoleForGaVpcEndpoint，您在配置 云服务器 ECS、弹性网卡 ENI、传统型负载均衡 CLB（原SLB）、应用型负载均衡 ALB或网络型负载均衡 NLB为 全球加速 终端节点时，系统会自动创建服务关联...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
超级计算集群概述
SCC与阿里云ECS、GPU云服务器等计算类产品一起，为 阿里云弹性高性能计算平台E-HPC 提供了极高性能的并行计算资源，实现真正的云上超算。机型对比 SCC与物理机、虚拟机的对比如下表所示。其中，Y表示支持，N表示不支持，N/A表示无数据。...
- 产品推荐
- 这些文档可能帮助您