如何收集操作系统宕机后的内核转储信息?
背景信息 阿里云技术支持人员可以通过在转储文件中找到对应的信息，从而分析操作系统宕机的原因，并同步给用户。说明 您也可以通过Windows平台的 WinDbg 工具和Linux平台的 crash 工具来检查操作系统内核的转储文件。Linux实例 远程连接ECS...
Windows系统实例的宕机问题排查
定位宕机原因 您可以通过以下方式，定位ECS实例发生宕机的具体原因。方式一：（推荐）通过自助诊断工具定位 登录 ECS管理控制台，左侧导航栏单击 自助问题排查。单击 实例问题排查 页签。选择 实例无法连接或启动异常>实例出现宕机，然后...
结果字段说明
evaluation_metrics.macro_f1 该实体训练的监督模型所计算的验证集macro f1 score值。evaluation_metrics.precision 该实体训练的监督模型所计算的验证集precision值。evaluation_metrics.recall 该实体训练的监督模型所计算的验证集recall...
ECS实例宕机并报错“Out of memory and no killable ...
如果您的ECS实例出现宕机，并且报错日志中存在 Out of memory and no killable processes 信息，则可以参考本文提供的方案解决问题。问题现象 ECS实例在运行过程中出现宕机，并且有类似于如下所示的调用栈：[28663.625353][pid]uid tgid ...
AI任务概述
TensorFlow单机训练 TensorFlow分布式训练 PyTorch单机训练 PyTorch分布式训练 弹性训练 DeepSpeed分布式训练 模型管理 您可以关联和管理训练任务及其产出的模型。模型管理 模型评测 您可以通过Arena提交模型评测任务，对模型准确率、召回...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
训练加速（Pai-Megatron-Patch）概述
背景信息 Pai-Megatron-Patch工具是阿里云机器学习平台PAI算法团队研发，基于阿里云智算服务PAI-灵骏平台的大模型最佳实践解决方案配套工具，旨在帮助大模型开发者快速上手灵骏产品，完成大语言模型（LLM）的高效分布式训练，有监督指令...
设置宕机自动迁移
为了降低物理故障对业务的影响，阿里云为您提供专有宿主机DDH宕机自动迁移的功能。本章节介绍在创建DDH后如何开启或者关闭宕机自动迁移。背景信息 宕机自动迁移开启后，当DDH因故障停机时，会自动迁移至健康的DDH。若您未开启宕机自动迁移...
录音指导
高质量的录音数据对于模型训练至关重要，本篇文章将从日常环境选择、录音设备、录制过程、常见问题等方面提供建议和指导，希望您能通过学习和实践能够录制出非专业环境下高质量的音频数据。重要 录制高质量的音频有一定的门槛，掌握录制...
录音指导
高质量的录音数据对于模型训练至关重要，本篇文章将从日常环境选择、录音设备、录制过程、常见问题等方面提供建议和指导，希望您能通过学习和实践能够录制出非专业环境下高质量的音频数据。重要 录制高质量的音频有一定的门槛，掌握录制...
使用Megatron-Deepspeed训练GPT-2并生成文本
本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，...
智能异常分析概述
有监督 有监督的学习是从标签化训练数据集中推断出函数或模型的机器学习任务。日志常量 日志往往由程序中的 logging 语句或者 print 语句产生。例如 connect mysql server,latency 212ms 日志可能是通过日志输出语句 logging.info("connect...
主备方案介绍
故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例因不可预料的原因（例如设备故障、机房...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过大模型服务平台调用Ziya-LLaMA API。快速使用 API详情
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过DashScope灵积模型服务调用Ziya-LLaMA API。快速使用 API详情
模型管理
本文介绍如何管理训练任务产出的模型，并进一步对模型进行评测和部署。前提条件 已创建ACK Pro集群且Kubernetes版本不低于1.20。具体操作，请参见 创建ACK Pro版集群。已安装云原生AI套件的 开发控制台 和 调度组件。具体操作，请参见 安装...
配置备份
当您新购堡垒机实例后，您可以将已有堡垒机的配置通过配置备份功能导出到本地，然后上传到新购的堡垒机中，为您免去重复的配置工作。本文介绍如何使用配置备份功能。限制条件 不支持高资产规格堡垒机实例配置备份导入低资产规格堡垒机。...
什么是Deepytorch Training（训练加速）
Deepytorch Training是阿里云自研的AI训练加速器，为生成式AI和大模型场景提供训练加速功能。本文主要介绍Deepytorch Training在训练加速上的概念、优势及特性。Deepytorch Training介绍 Deepytorch Training面向生成式AI和大模型场景，...
提交训练作业
PAI Python SDK提供了更易用的API（即HighLevel API），支持您将训练作业提交到PAI，并使用云上资源运行训练作业。本文为您介绍如何准备训练作业脚本并使用SDK提交训练作业。计费说明 在提交训练作业时，会调用DLC计算资源执行任务，由此会...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
什么是AI通信加速库Deepnccl
Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL（NVIDIA Collective ...
管理主机账户
在堡垒机中新建主机后，您可以为其创建相应的主机账户，即将您主机已有的账户托管至堡垒机。创建主机账户后，运维人员即可使用该账户通过堡垒机登录主机进行运维。本文将介绍如何在堡垒机中进行主机账户的新建、修改和删除操作。新建主机...
三方开源大语言模型
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。3是ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：...
Horovod弹性训练
弹性模型训练通过对接Horovod的Elastic模式，可以让Horovod运行的分布式训练任务具备动态调整训练Workers数量的能力。您可以通过实时的弹性模型训练，并结合抢占实例，充分利用空闲的算力资源，以降低单位时间的训练成本。本文介绍如何部署...
授权访问云资源
在释放已有的堡垒机实例后，您可以参考以下步骤在RAM控制台删除堡垒机服务关联角色。登录 RAM控制台。在左侧导航栏，选择 身份管理>角色。在 角色 页面，使用搜索功能定位到堡垒机服务关联角色AliyunServiceRoleForBastionhost，在 操作 列...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在灵积平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考ModelScope上...
启用运维安全中心（堡垒机）
购买堡垒机实例后，您需要启用堡垒机实例，才能使用堡垒机实例的服务。本文介绍如何启用堡垒机实例。背景信息 新购买的堡垒机实例处于未初始化状态，需要启用后才能使用。说明 如果您未购买堡垒机实例，具体操作，请参见 购买实例。操作...
异构计算产品最佳实践概览
神龙AI加速引擎AIACC 使用AIACC-Training（AIACC训练加速）加速BERT Finetune模型 适用于自然语言训练场景，使用GPU云服务器和极速型NAS进行BERT Finetune模型训练，使用AIACC-Training（AIACC训练加速）可以有效提升多机多卡的训练效率。...
在FeatureStore中使用自动特征工程（AutoFE）
特征选择 当特征个数超过800列时，对后面特征分析和模型训练的性能有一定的影响，推荐使用GBDT对原始特征做初步评估筛选。特征分析 对特征进行统计分析、组合生成和用SAFE选择，生成新的特征集合。统计分析：通过多个重要统计指标（均值/...
使用GPU拓扑感知调度（Tensorflow版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择...
搭建类似妙鸭相机的应用
facechain的基本原理是典型的SD（Stable Diffusion）+LoRA，流程大致如下：对已有的几张个人照片（原图）进行训练，得到个人专属的面部LoRA权重。基于标准的SD基础模型生成各种风格的个人照片（结果图）。说明 facechain会在此基础上，使用...
支持向量机
支持向量机（SVM）是在分类分析中分析数据的监督式学习模型与相关的学习算法，也被拓展运用于回归问题。支持向量机在高维度或无穷维度空间中，构建一个超平面或者一系列的超平面，可以用于分类、回归或者别的任务。直观地看，借助超平面去...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
组件参考：所有组件汇总
线性支持向量机 该组件是基于统计学习理论的一种机器学习方法，通过寻求结构风险最小化，提高学习机泛化能力，从而实现经验风险和置信范围最小化。逻辑回归二分类 该组件是一个二分类算法，支持稀疏及稠密数据格式。GBDT二分类 该组件的...
API详情
output.model String 本次训练所使用的起始模型 output.base_model String 本次训练所使用的起始模型的基模型 output.training_file_ids Array 本次训练您传入的训练文件 output.validation_file_ids Array 本次训练您传入的验证文件 ...
AIACC-ACSpeed体验示例
AIACC-ACSpeed（简称ACSpeed）作为阿里云自研的AI训练加速器，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。ACSpeed软件包中已为您提供了适配DDP的示例代码，您可以参考本文快速体验使用ACSpeed进行模型分布...
查询网络通信距离（NCD）
使用NCD的原因 存在的问题 在特定物理网络拓扑下，不同GPU节点之间的通信时延和可能产生的跨多跳交换机转发引发的哈希不均，都可能导致不同GPU节点之间的通信性能存在较大差异，进而进一步影响模型训练的吞吐差异。解决方法 如上图所示，...
搭建类似妙鸭相机的应用
facechain的基本原理是典型的SD（Stable Diffusion）+LoRA，流程大致如下：对已有的几张个人照片（原图）进行训练，得到个人专属的面部LoRA权重。基于标准的SD基础模型生成各种风格的个人照片（结果图）。说明 facechain会在此基础上，使用...
- 产品推荐
- 这些文档可能帮助您