通过PAI - 灵骏分布式训练和部署Llama 2模型

部署准备

10

准备账号

1. 如果您还没有阿里云账号，请访问阿里云账号注册页面，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。

2. 为阿里云账号充值。

   • 使用到智算服务PAI-灵骏（Serverless版）、智算CPFS、PAI-EAS、OSS等产品，均会产生费用，您可以通过下面链接查询到费用使用情况：

     • 按量付费的费用包括PAI-EAS服务运行所消耗的公共资源费用和系统盘费用，以及OSS的存储费用。其中PAI-EAS的计费逻辑与单价详情请参见EAS计费说明，OSS的计费逻辑与单价详情请参见存储费用。

     • 您可以前往AI计算资源（预付费）和智算CPFS购买页查看费用详情。

3. 创建用于方案部署的RAM用户。

   1. 创建1个RAM用户。具体操作，请参见创建RAM用户。

   2. 为RAM用户授予以下云服务的访问权限以完成方案部署。具体操作，请参见为RAM用户授权。

      云服务	需要的权限	描述
      人工智能平台 PAI	AliyunPAIFullAccess	管理PAI服务的权限。
      	添加为PAI工作空间的成员，并授予算法开发等具有开发权限的角色。	使用PAI-DSW和PAI-DLC进行模型训练。如何为工作空间添加成员及角色，请参见管理工作空间成员。
      智算服务PAI-灵骏（Serverless版）	AliyunPAIFullAccess	当前灵骏智算资源仅供白名单用户受限申请使用，如果您希望使用灵骏智算资源提交训练任务，您可先提交工单，申请添加灵骏智算资源使用白名单。 建议使用阿里云账号来购买灵骏智算资源；也可以为RAM用户添加AliyunPAIFullAccess，此时RAM用户会拥有PAI全部权限，有操作风险，请谨慎添加。
      专有网络VPC	AliyunVPCFullAccess	管理专有网络VPC的权限。
      云服务器ECS	AliyunECSFullAccess	管理安全组的权限。
      NAS	AliyunNASFullAccess	管理NAS的权限。目前，智算CPFS还在邀测中，您可以提交工单，申请添加智算CPFS使用白名单。
      对象存储OSS	AliyunOSSFullAccess	管理对象存储OSS的权限。
      费用中心BSS	AliyunBSSOrderAccess	在费用中心BSS查看订单、支付订单及取消订单的权限。

规划网络和资源

5

部署资源

10

规划好资源后，请按照以下步骤部署方案中的所有资源。

准备模型

20

本方案给出了以下三种下载模型的方式，您可以根据需要选择其中一种。

mkdir /mnt/workspace/llama2-ckpts
cd /mnt/workspace/llama2-ckpts
git clone https://huggingface.co/meta-llama/Llama-2-7b
git clone https://huggingface.co/meta-llama/Llama-2-13b
git clone https://huggingface.co/meta-llama/Llama-2-70b

准备数据

20

建议您在使用灵骏智算资源创建的DSW实例中准备预训练数据。本方案以WuDao2.0数据集（该数据集仅供研究使用）为例，介绍数据预处理流程。

1. 下载WuDaoCorpora2.0开源数据集到/mnt/workspace/llama2-datasets工作目录下。PAI提供了部分样例数据作为示例，您可以在PAI-DSW的Terminal中执行以下命令下载并解压数据集。假设解压后的文件夹命名为wudao_200g。

   mkdir /mnt/workspace/llama2-datasets/
   cd /mnt/workspace/llama2-datasets/
   wget https://atp-modelzoo.oss-cn-hangzhou.aliyuncs.com/release/datasets/WuDaoCorpus2.0_base_sample.tgz
   tar zxvf WuDaoCorpus2.0_base_sample.tgz 

2. 预处理数据。PAI为HuggingFace&DeepSpeed训练和MegatronLM训练分别准备了数据预处理流程，您可以根据自己的需要选择不同的处理方式。

   准备Huggingface&DeepSpeed训练数据

   1. 在Terminal中执行以下脚本，对Wudao数据执行数据集清洗并进行文件格式转换，最终生成汇总的merged_wudao_cleaned.json文件。

      #! /bin/bash
      set -ex
      # 请在此处设置原始数据所在路径。
      data_dir=/mnt/workspace/llama2-datasets/wudao_200g
      
      # 开始数据清洗流程。
      dataset_dir=$(dirname $data_dir)
      mkdir -p ${dataset_dir}/cleaned_wudao_dataset
      cd ${dataset_dir}/cleaned_wudao_dataset
      wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/preprocess_wudao2.py
      python preprocess_wudao2.py -i ${data_dir} -o ${dataset_dir}/cleaned_wudao_dataset -p 32
      
      # 合并清洗后的数据，移除过程数据。
      mkdir ${dataset_dir}/wudao
      cd ${dataset_dir}/wudao
      find ${dataset_dir}/cleaned_wudao_dataset -name "*.json" -exec cat {} + > ${dataset_dir}/wudao/merged_wudao_cleaned.json
      rm -rf ${dataset_dir}/cleaned_wudao_dataset

      脚本执行完成后，llama2-datasets目录的文件结构如下。新增了一个wudao文件夹：

      llama2-datasets
      ├── wudao_200g 
      └── wudao
          └── merged_wudao_cleaned.json

   2. 在Terminal中执行以下命令，利用生成的merged_wudao_cleaned.json文件生成预训练所需的训练集和验证集。您需要在下面的脚本中设置训练集占比，比如设置TRAIN_RATE=90，表示训练集占比为90%。

      # 请在此处设置训练集的占比。
      TRAIN_RATE=90
      
      # 开始拆分训练集、测试集，移除过程数据。
      NUM=$(sed -n '$=' ${dataset_dir}/wudao/merged_wudao_cleaned.json)
      TRAIN_NUM=$(($(($NUM/100))*$TRAIN_RATE))
      echo "total line of dataset is $NUM, data will be split into 2 parts, $TRAIN_NUM samples for training, $(($NUM-$TRAIN_NUM)) for validation"
      split -l $TRAIN_NUM --numeric-suffixes --additional-suffix=.json ${dataset_dir}/wudao/merged_wudao_cleaned.json ${dataset_dir}/wudao/
      mkdir ${dataset_dir}/wudao_huggingface
      cd ${dataset_dir}/wudao_huggingface
      mv ${dataset_dir}/wudao/00.json ${dataset_dir}/wudao_huggingface/wudao200g_train.json
      mv ${dataset_dir}/wudao/01.json ${dataset_dir}/wudao_huggingface/wudao200g_valid.json
      rm -rf ${dataset_dir}/wudao/

      命令执行完成后，llama2-datasets目录的文件结构如下，新增了两个JSON文件。

      llama2-datasets
      ├── wudao_200g
      ├── wudao_train.json
      └── wudao_valid.json

   完成以上操作步骤后Huggingface的数据已准备完成。您可以执行后续章节中的Huggingface&Deepspeed训练流程，详情请参见Huggingface&DeepSpeed训练流程章节。

   准备MegatronLM训练数据

   MMAP数据是一种预先执行tokenize的数据格式，可以减少训练微调过程中等待数据读入的时间，当数据量较大时优势更显著。您可以按照以下操作步骤准备数据。

   1. 执行准备Huggingface&DeepSpeed训练数据的操作步骤生成JSON文件。

   2. 在Terminal中执行以下命令，对Wudao数据执行数据集清洗并进行文件格式转换，最终生成汇总的merged_wudao_cleaned.json。

      #! /bin/bash
      set -ex
      # 请在此处设置原始数据所在路径。
      data_dir=/mnt/workspace/llama2-datasets/wudao_200g
      
      # 开始数据清洗流程。
      dataset_dir=$(dirname $data_dir)
      mkdir -p ${dataset_dir}/cleaned_wudao_dataset
      cd ${dataset_dir}/cleaned_wudao_dataset
      wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/preprocess_wudao2.py
      # 此处与上一节不同，增加了key参数设为text。
      python preprocess_wudao2.py -i ${data_dir} -o ${dataset_dir}/cleaned_wudao_dataset -k text -p 32
      
      # 合并清洗后的数据。
      mkdir ${dataset_dir}/wudao
      cd ${dataset_dir}/wudao
      find ${dataset_dir}/cleaned_wudao_dataset -name "*.json" -exec cat {} + > ${dataset_dir}/wudao/merged_wudao_cleaned.json
      rm -rf ${dataset_dir}/cleaned_wudao_dataset
      

      命令执行完成后，llama2-datasets目录的文件结构如下，新增一个wudao文件夹：

      llama2-datasets
      ├── wudao_200g 
      └── wudao
          └── merged_wudao_cleaned.json

   3. 在Terminal中执行以下命令，利用生成的merged_wudao_cleaned.json文件将数据拆分成若干组并进行压缩，以便于后续实现多线程处理。

      apt-get update
      apt-get install zstd
      
      # 此处设置分块数为10，如数据处理慢可设置稍大。
      NUM_PIECE=10
      
      # 对merged_wudao_cleaned.json文件进行处理。
      mkdir -p ${dataset_dir}/cleaned_zst/
      # 查询数据总长度，对数据进行拆分。
      NUM=$(sed -n '$=' ${dataset_dir}/wudao/merged_wudao_cleaned.json)
      echo "total line of dataset is $NUM, data will be split into $NUM_PIECE pieces for processing"
      NUM=`expr $NUM / $NUM_PIECE`
      echo "each group is processing $NUM sample"
      split_dir=${dataset_dir}/split
      mkdir $split_dir
      split -l $NUM --numeric-suffixes --additional-suffix=.jsonl ${dataset_dir}/wudao/merged_wudao_cleaned.json $split_dir/
      
      # 数据压缩。
      o_path=${dataset_dir}/cleaned_zst/
      mkdir -p $o_path
      files=$(ls $split_dir/*.jsonl)
      for filename in $files
      do
         f=$(basename $filename)
         zstd -z $filename -o $o_path/$f.zst &
      done
      rm -rf $split_dir
      rm ${dataset_dir}/wudao/merged_wudao_cleaned.json
      

      命令执行完成后，llama2-datasets目录的文件结构如下。新增了一个cleaned_zst文件夹，每个子文件夹里有10个压缩文件。

      llama2-datasets
      ├── wudao_200g
      ├── wudao
      └── cleaned_zst
          ├── 00.jsonl.zst
      		│   ...
          └── 09.jsonl.zst

   4. 制作MMAP格式的预训练数据集。

      1. 前往PAI-Megatron-Patch页面获取Megatron模型训练工具PAI-Megatron-Patch源代码。

      2. 在DSW实例页面，按照下图操作指引，将已获取的工具和源代码上传到/mnt/workspace/下，并分别解压到当前目录。

      3. 在Terminal中执行命令将数据转换成MMAP格式。命令执行成功后，在/mnt/workspace/llama2-datasets/wudao目录下生成.bin和.idx文件。

         # 请在此处设置数据集路径和工作路径。
         export dataset_dir=/mnt/workspace/llama2-datasets
         export WORK_DIR=/mnt/workspace
         
         # 分别为训练集、验证集生成mmap格式预训练数据集。
         cd ${WORK_DIR}/PAI-Megatron-Patch/toolkits/pretrain_data_preprocessing
         bash run_make_pretraining_dataset.sh \
         /root/Megatron-LM-23.04 \
         ${WORK_DIR}/PAI-Megatron-Patch/ \
         ${dataset_dir}/cleaned_zst/ \
         llamabpe \
         ${dataset_dir}/wudao/ \
         ${WORK_DIR}/llama2-ckpts/llama-2-7b-hf
         rm -rf ${dataset_dir}/cleaned_zst

         其中运行run_make_pretraining_dataset.sh脚本输入的五个启动参数说明如下：

         参数	描述
         MEGATRON_PATH=$1	设置开源Megatron的代码路径。
         MEGATRON_PATCH_PATH=$2	设置Megatron Patch的代码路径。
         input_data_dir=$3	打包后的wudao数据集的文件夹路径。
         tokenizer=$4	指定分词器的类型为llamabpe。
         output_data_dir=$5	指定输出结果的保存路径。
         load_dir=$6	tokenizer_config.json文件路径。

         脚本执行完成后，llama2-datasets目录的文件结构如下。

         llama2-datasets
         ├── wudao_200g
         └── wudao
            ├── wudao_llamabpe_text_document.bin
            └── wudao_llamabpe_text_document.idx

   完成以上操作步骤后MegatronLM的数据已准备完成。您可以执行后续章节中的Megatron训练流程，详情请参见Megatron训练流程章节。

为了方便您试用该方案，PAI也提供了已经处理好的小规模样本数据，您可以在PAI-DSW的Terminal中执行以下命令下载样本数据。

cd /mnt/workspace/llama2-datasets
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-datasets/wudao_train.json
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-datasets/wudao_valid.json
mkdir -p /mnt/workspace/llama2-datasets/wudao
cd /mnt/workspace/llama2-datasets/wudao
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-datasets/wudao_llamabpe_text_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-datasets/wudao_llamabpe_text_document.idx

Huggingface&DeepSpeed训练流程

60

基于上述章节已下载好的模型和训练数据，您可以在PAI-DSW环境中调试预训练模型，也可以在PAI-DLC环境中配置多机多卡分布式任务。

cd /mnt/workspace
mkdir test_llama2_hf
cd test_llama2_hf
export WORK_DIR=/mnt/workspace/
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/ds_config_TEMPLATE.json
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/ds_train_huggingface_llama.py
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/run_ds_train_huggingface_llama.sh
bash run_ds_train_huggingface_llama.sh \
dsw \
7B \
1 \
2 \
1e-5 \
2048 \
bf16 \
2 \
true \
${WORK_DIR}/llama2-datasets/wudao_train.json \
${WORK_DIR}/llama2-datasets/wudao_valid.json \
${WORK_DIR}/llama2-ckpts/Llama-2-7b-hf \
2 \
${WORK_DIR}/output_llama2

Megatron训练流程

60

1. 将Huggingface格式的模型文件转换为Megatron格式。

   自行将Huggingface版本模型转换成Megatron模型

   前往PAI-Megatron-Patch页面获取Megatron模型训练工具PAI-Megatron-Patch源代码，在Terminal中执行以下命令，使用PAI提供的下载地址来获取Huggingface版本的模型权重，并按照如下流程完成格式转换。

   cd /mnt/workspace/
   mkdir llama2-ckpts
   cd llama2-ckpts
   wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-ckpts/Llama-2-7b-hf.tgz
   tar -zxf Llama-2-7b-hf.tgz
   mv Llama-2-7b-hf llama2-7b-hf
   
   cd /mnt/workspace/PAI-Megatron-Patch/toolkits/model_checkpoints_convertor/llama
   sh model_convertor.sh \
   /root/Megatron-LM-23.04       \
   /mnt/workspace/llama2-ckpts/llama2-7b-hf         \
   /mnt/workspace/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1  \
   1  \
   1  \
   llama-7b \
   0 \
   false

   下载转换好的Megatron模型

   为方便您试用该方案，PAI提供了转换好格式的模型。您可以在DSW实例页面顶部菜单栏，单击Terminal页签，并在Terminal中执行以下命令下载模型即可。

   cd /mnt/workspace/
   mkdir llama2-ckpts
   cd llama2-ckpts
   wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-ckpts/llama-2-7b-hf-to-megatron-tp1-pp1.tgz
   tar -zxf llama-2-7b-hf-to-megatron-tp1-pp1.tg

2. 继续预训练模型。您可以在PAI-DSW单机环境中训练模型，后续您也可以在PAI-DLC环境中提交多机多卡分布式任务。任务执行成功后，将模型文件输出到/mnt/workspace/output_megatron_llama2/目录下。

   DSW单机预训练模型

   DSW单机运行示例如下：

   export WORK_DIR=/mnt/workspace
   cd ${WORK_DIR}/PAI-Megatron-Patch/examples/llama2
   sh run_pretrain_megatron_llama.sh  \
   dsw  \
   /root/Megatron-LM-23.04   \
   ${WORK_DIR}/PAI-Megatron-Patch  \
   7B   \
   1    \
   8 \
   1e-5   \
   1e-6   \
   2048  \
   80  \
   0   \
   fp16  \
   1   \
   1  \
   sel  \
   true   \
   false  \
   false   \
   100000  \
   ${WORK_DIR}/llama2-datasets/wudao/wudao_llamabpe_text_document   \
   ${WORK_DIR}/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1   \
   100000000   \
   10000   \
   ${WORK_DIR}/output_megatron_llama2/   

   其中运行run_pretrain_megatron_llama.sh脚本需要传入的参数说明如下：

   参数	描述
   ENV=$1	配置运行环境： dsw dlc
   MEGATRON_PATH=$2	设置开源Megatron的代码路径。
   MEGATRON_PATCH_PATH=$3	设置Megatron Patch的代码路径。
   MODEL_SIZE=$4	模型结构参数量级：7B、13B或70B。
   BATCH_SIZE=$5	每卡训练一次迭代样本数：4或8。
   GLOBAL_BATCH_SIZE=$6	全局Batch Size。
   LR=$7	学习率：1e-5或5e-5。
   MIN_LR=$8	最小学习率：1e-6或5e-6。
   SEQ_LEN=$9	序列长度。
   PAD_LEN=${10}	Padding长度：100。
   EXTRA_VOCAB_SIZE=${11}	词表扩充大小。
   PR=${12}	训练精度：fp16或bf16。
   TP=${13}	模型并行度。
   PP=${14}	流水并行度。
   AC=${15}	激活检查点模式： full sel
   DO=${16}	是否使用Megatron版Zero-1降显存优化器： true false
   FL=${17}	是否打开Flash Attention： true false
   SP=${18}	是使用序列并行： true false
   SAVE_INTERVAL=${19}	保存CheckPoint文件的间隔。
   DATASET_PATH=${20}	训练数据集路径。
   PRETRAIN_CHECKPOINT_PATH=${21}	预训练模型路径。
   TRAIN_TOKENS=${22}	训练Tokens。
   WARMUP_TOKENS=${23}	预热Token数。
   OUTPUT_BASEPATH=${24}	训练输出文件路径。

   DLC分布式预训练模型

   在DSW单机环境调试完成后，您可以在DLC环境中配置多机多卡分布式任务。其中执行命令配置如下，使用和DSW相同的训练脚本run_pretrain_megatron_llama.sh。其他参数配置详情，请参见Huggingface&DeepSpeed训练流程。

   export WORK_DIR=/mnt/workspace
   cd ${WORK_DIR}/PAI-Megatron-Patch/examples/llama2
   bash run_pretrain_megatron_llama.sh \
   dlc \
   /root/Megatron-LM-23.04   \
   ${WORK_DIR}/PAI-Megatron-Patch  \
   7B   \
   1    \
   16 \
   1e-5   \
   1e-6   \
   2048  \
   80  \
   0   \
   fp16  \
   1   \
   1  \
   sel  \
   true   \
   false  \
   false   \
   100000  \
   ${WORK_DIR}/llama2-datasets/wudao/wudao_llamabpe_text_document   \
   ${WORK_DIR}/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1   \
   100000000   \
   10000   \
   ${WORK_DIR}/output_megatron_llama2/     

3. 有监督微调模型。您可以在PAI-DSW单机环境中训练模型，后续您也可以在PAI-DLC环境中提交多机多卡分布式任务。任务执行成功后，将模型文件输出到/mnt/workspace/output_megatron_llama2/目录下。

   DSW单机微调模型

   DSW单机运行示例如下：

   export WORK_DIR=/mnt/workspace
   cd ${WORK_DIR}/PAI-Megatron-Patch/examples/llama2
   sh run_finetune_megatron_llama.sh  \
   dsw  \
   /root/Megatron-LM-23.04   \
   ${WORK_DIR}/PAI-Megatron-Patch  \
   7B     \
   1      \
   1e-5   \
   1e-6   \
   2048   \
   80     \
   0      \
   bf16   \
   1      \
   1      \
   sel    \
   true   \
   false  \
   false  \
   ${WORK_DIR}/llama2-datasets/wudao_train.json   \
   ${WORK_DIR}/llama2-datasets/wudao_valid.json   \
   ${WORK_DIR}/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1   \
   2   \
   ${WORK_DIR}/output_megatron_llama2/   

   其中运行run_finetune_megatron_llama.sh脚本需要传入的参数说明如下：

   参数	描述
   ENV=$1	运行环境： dlc dsw
   MEGATRON_PATH=$2	设置开源Megatron的代码路径。
   MEGATRON_PATCH_PATH=$3	设置Megatron Patch的代码路径。
   MODEL_SIZE=$4	模型结构参数量级：7B、13B或70B。
   BATCH_SIZE=$5	每卡训练一次迭代样本数：4、8。
   LR=$6	学习率：1e-5、5e-5。
   MIN_LR=$7	最小学习率：1e-6、5e-6。
   SEQ_LEN=$8	序列长度。
   PAD_LEN=$9	Padding序列长度：100。
   EXTRA_VOCAB_SIZE=${10}	词表扩充大小。
   PR=${11}	训练精度：fp16、bf16。
   TP=${12}	模型并行度。
   PP=${13}	流水并行度。
   AC=${14}	激活检查点模式：full或sel。
   DO=${15}	是否使用Megatron版Zero-1降显存优化器： true false
   FL=${16}	是否打开Flash Attention： true false
   SP=${17}	是否使用序列并行： true false
   TRAIN_DATASET_PATH=${18}	训练数据集路径。
   VALID_DATASET_PATH=${19}	验证数据集路径。
   PRETRAIN_CHECKPOINT_PATH=${20}	预训练模型路径。
   EPOCH=${21}	训练迭代轮次。
   OUTPUT_BASEPATH=${22}	训练输出文件路径。

   DLC分布式微调模型

   在DSW单机环境调试完成后，您可以在DLC环境中配置多机多卡分布式任务。其中执行命令配置如下，使用和DSW相同的训练脚本run_finetune_megatron_llama.sh。其他参数配置详情，请参见Huggingface&DeepSpeed训练流程。

   export WORK_DIR=/mnt/workspace
   cd ${WORK_DIR}/PAI-Megatron-Patch/examples/llama2
   sh run_finetune_megatron_llama.sh  \
   dlc    \
   /root/Megatron-LM-23.04   \
   ${WORK_DIR}/PAI-Megatron-Patch  \
   7B     \
   1      \
   1e-5   \
   1e-6   \
   2048   \
   80     \
   0      \
   fp16   \
   1      \
   1      \
   sel    \
   true   \
   false  \
   false  \
   ${WORK_DIR}/llama2-datasets/wudao_train.json   \
   ${WORK_DIR}/llama2-datasets/wudao_valid.json   \
   ${WORK_DIR}/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1   \
   2   \
   ${WORK_DIR}/output_megatron_llama2/   

离线推理模型

15

模型训练完成后，您可以离线推理模型来评估模型效果。根据上面不同的训练流程，PAI也提供了对应的HuggingFace&DeepSpeed和MegatronLM两种格式的推理链路。

import torch
import transformers
from transformers import LlamaTokenizer, LlamaForCausalLM

model = "/mnt/workspace/output_llama2/checkpoint/dswXXX/checkpoinXXX/"
print(model)
tokenizer = LlamaTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto",
)
sequences = pipeline(
   "The weather today is",
    max_length=200,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
print(sequences)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

将模型上传到OSS Bucket存储空间

本方案以Megatron训练流程获得的模型为例，来说明如何将模型文件上传到OSS存储空间：

10

1. 在Terminal中执行以下命令将原始模型目录文件替换成训练获得的模型文件，您的模型地址以实际为准。

   cp /mnt/workspace/output_megatron_llama2/checkpoint/dswXXX/iter_XXX/mp_rank_00/model_rng.pt /mnt/workspace/llama2-ckpts/llama2-7b-hf-to-megatron-tp1-pp1/release/mp_rank_00/model_rng.pt

2. 在DSW中安装ossutil并完成配置，详情请参见安装ossutil。

3. 在DSW的Terminal中，执行以下命令将模型文件上传到OSS Bucket存储空间，更多详细内容，请参见命令行工具ossutil命令参考。

   cd /mnt/workspace/llama2-ckpts
   ossutil64 cp -r llama2-7b-hf-to-megatron-tp1-pp1/ oss://examplebucket/exampledirectory/

如果需要部署使用Huggingface&DeepSpeed训练流程获得的模型文件，您需要将/mnt/workspace/output_llama2/checkpoint/dswXXX/checkpointXXX/global_stepXXX/mp_rank_00_model_states.pt文件拷贝到上一层包含config.json文件的目录中，并重命名为pytorch_model.bin。然后参照上述操作步骤将/mnt/workspace/output_llama2/checkpoint/dswXXX/checkpointXXX/目录下的文件上传到OSS Bucket存储空间。

部署模型服务

15

BladeLLM是阿里云PAI平台提供的大模型部署框架，支持主流LLM模型结构，并内置模型量化压缩、BladeDISC编译等优化技术用于加速模型推理。 使用BladeLLM的预构建镜像，能够便捷地在PAI-EAS平台部署大模型推理服务。本方案以使用Megatron训练流程获得的模型为例，来说明如何部署模型服务，具体操作步骤如下：

1. 任意选择一种方式部署服务。

   方式一：使用PAI控制台

   1. 前往部署服务页面，在华北6（乌兰察布）地域部署模型服务，其中关键参数配置如下，其他参数取默认配置即可。

      参数	描述
      服务名称	自定义模型服务名称，同地域内唯一。本方案配置为：blade_llm_llama2_server。
      部署方式	本方案选择：镜像部署服务。
      镜像选择	选择镜像地址，在本文框中配置镜像地址：eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/blade-llm:0.1.2。
      填写模型配置	单击填写模型配置，配置模型地址。 模型配置选择OSS挂载，将OSS路径配置为模型文件所在的OSS Bucket路径，例如：oss://examplebucket/exampledirectory/。 挂载路径：指定挂载后的路径，本方案配置为：/mnt/model/llama2_7b。
      运行命令	运行命令配置为： Huggingface格式的模型：blade_llm_server --port 8081 --model_type llama --from_hf /mnt/model/llama2_7b/ --fp16 --use_hf_generate MegatronLM格式的模型：blade_llm_server --port 8081 --model_type llama --from_megatron /mnt/model/llama2_7b/ --ignore_unknown_type_in_checkpoint --use_hf_generate --fp16 参数说明如下： --from_hf：加载hf格式的模型。该目录下需要包含符合Huggingface格式的配置文件和模型文件，例如config.json、pytorch_model.bin等。 --from_megatron：加载Megatron格式的模型。该目录下需要包含从hf转换为Megatron格式时自动拷贝的config.json等文件，以及Megatron格式的Checkpoint，比如release/mp_rank_00/model_rng.pt）。 端口号配置为：8081。 【说明】运行命令的端口号需要与服务配置的端口号一致。
      资源组种类	本方案选择公共资源组。
      资源配置选择	根据模型情况配置实例规格，本方案配置为：ecs.gn7i-c32g1.8xlarge。
      系统盘配置	单击系统盘配置，配置额外系统盘为100 GB。

   2. 单击部署。当服务状态变为运行中时，表明服务部署成功。

   方式二：使用EASCMD客户端工具

   1. 在本地环境下载并认证客户端，本方案以Windows 64版本为例。

   2. 在客户端工具下载后的当前目录创建以下JSON脚本文件，命名为service.json。

      {
          "name": "blade_llm_llama2_server", 
          "containers": [
              {
                  "image": "eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/blade-llm:0.1.2",
                  "script": "blade_llm_server --port 8081 --model_type llama --from_megatron /mnt/model/llama2_7b/ --ignore_unknown_type_in_checkpoint --use_hf_generate --fp16",
                  "port": 8081
              }
          ],
          "storage": [
              {
                  "mount_path": "/mnt/model/llama2_7b/",
                  "oss": {
                      "endpoint": "oss-cn-wulanchabu-internal.aliyuncs.com",
                      "path": "oss://examplebucket/exampledirectory/"
                  }
              }
          ],
          "features": {
              "eas.aliyun.com/extra-ephemeral-storage": "100Gi"
          },
          "metadata": {
              "instance": 1
          },
          "cloud": {
              "computing": {
                  "instance_type": "ecs.gn7i-c32g1.8xlarge", 
                  "instances": null
              }
          }
      }

      其中关键参数配置如下：

      参数	描述
      name	自定义模型名称，同地域内唯一。本方案配置为：blade_llm_bloom_server。
      storage.oss.path	配置为模型文件所在的OSS Bucket路径。
      containers.script	Huggingface格式的模型：blade_llm_server --port 8081 --model_type llama --from_hf /mnt/model/llama2_7b/ --fp16 --use_hf_generate MegatronLM格式的模型：blade_llm_server --port 8081 --model_type llama --from_megatron /mnt/model/llama2_7b/ --ignore_unknown_type_in_checkpoint --use_hf_generate --fp16

   3. 在本地命令行工具，进入JSON脚本文件所在目录，并执行以下命令创建EAS服务。

      eascmdwin64.exe create service.json

完成及清理

10

#!/usr/bin/env python

import json

from websockets.sync.client import connect

def hello():
    headers = {"Authorization": "<token>"}
    # URL 也从EAS控制台 - 查看调用信息处获取，把 http:// 换成 ws:// 即可。
    url = "ws://xxxxx.cn-wulanchabu.pai-eas.aliyuncs.com/api/predict/<service_name>"
    with connect(url, additional_headers=headers) as websocket:
        prompts = ["What's the capital of Canada?"]
        for p in prompts:
            print(f"Prompt : {p}")
            websocket.send(json.dumps({"prompt": p}))
            while True:
                msg = websocket.recv()
                msg = json.loads(msg)
                if msg['is_end']:
                    break
                print(msg['text'], end="", flush=True)
            print()
            print("-" * 40)

hello()

清理资源

如果无需继续使用DSW实例和EAS服务，您可以按照以下操作步骤停止DSW实例和EAS服务。

• 停止DSW实例

  1. 登录PAI控制台。

  2. 在页面左上方，选择DSW实例的地域。

  3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

  4. 在工作空间页面的左侧导航栏选择模型开发与训练>交互式建模（DSW），进入交互式建模（DSW）页面。

  5. 单击目标实例操作列下的停止，成功停止后即停止资源消耗。

• 停止EAS服务

  1. 前往PAI-EAS模型在线服务页面，在页面左上角选择华北6（乌兰察布）地域。

  2. 在推理服务页签，单击目标服务操作列下的停止。成功停止后即停止资源消耗。

• 删除对象存储OSS Bucket。

  登录OSS管理控制台，在左侧导航栏，选择Bucket列表，单击目标Bucket，在文件列表，选择目标文件，然后单击彻底删除。在左侧导航栏，选择删除Bucket，然后单击删除Bucket，根据页面提示删除Bucket。

• 删除智算CPFS文件系统。

  1. 登录NAS控制台。

  2. 在左侧导航栏，选择文件系统>文件系统列表。

  3. 在顶部菜单栏，选择地域。

  4. 在文件系统列表页面，找到目标文件系统，在操作列单击图标 > 删除。并按照界面操作指引删除智算CPFS文件系统。