在GPU实例上使用RAPIDS加速机器学习任务_GPU实例最佳实践_最佳实践

背景信息

RAPIDS，全称Real-time Acceleration Platform for Integrated Data Science，是NVIDIA针对数据科学和机器学习推出的GPU加速库。更多RAPIDS信息请参见官方网站。

NGC，全称NVIDIA GPU CLOUD，是NVIDIA推出的一套深度学习生态系统，供开发者免费访问深度学习和机器学习软件堆栈，快速搭建相应的开发环境。NGC网站提供了RAPIDS的Docker镜像，预装了相关的开发环境。

JupyterLab是一套交互式的开发环境，帮助您高效地浏览、编辑和执行服务器上的代码文件。

Dask是一款轻量级大数据框架，可以提升并行计算效率。

本文提供了一套基于NVIDIA的RAPIDS Demo代码及数据集修改的示例代码，演示了在GPU实例上使用RAPIDS加速一个从ETL到ML Training端到端任务的过程。其中，ETL时使用RAPIDS的cuDF，ML Training时使用XGBoost。本文示例代码基于轻量级大数据框架Dask运行，为一套单机运行的代码。

说明 NVIDIA官方RAPIDS Demo代码请参见Mortgage Demo。

前提条件

注册阿里云账号并完成实名认证，请参见阿里云账号注册流程和个人实名认证。
在NGC注册页面注册NGC账号。
获取NGC API Key。
1. 登录NGC网站。
2. 前往CONFIGURATION，单击Get API Key。
3. 单击Generate API Key。
4. 在Generate a New API Key中，单击Confirm。
  
  说明新的NGC API Key会覆盖旧的NGC API Key。如果您已持有NGC API Key，请确保不再需要旧的NGC API Key。
5. 复制API Key并保存到本地。

步骤一：获取RAPIDS镜像下载命令

登录NGC网站。
打开MACHINE LEARNING页面，单击RAPIDS镜像。
获取docker pull命令。
本文示例代码基于RAPIDS 0.6版本镜像编写，因此在运行本示例代码时，使用Tag为0.6版本的镜像。实际操作时，请选择您匹配的版本。
1. 选择Tags页签。
2. 找到并复制Tag信息。本示例中，选择0.6-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6。
3. 返回页面顶部，复制Pull Command中的命令到文本编辑器，将镜像版本替换为对应的Tag信息，并保存。本示例中，将cuda9.2-runtime-ubuntu16.04替换为0.6-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6。
  保存的docker pull命令用于在步骤二中下载RAPIDS镜像。

步骤二：部署RAPIDS环境

创建一台GPU实例。
详细步骤请参见使用向导创建实例。
- 实例：RAPIDS仅适用于特定的GPU型号（采用NVIDIA Pascal及以上架构），因此您需要选择GPU型号符合要求的实例规格，目前有gn6i、gn6v、gn5和gn5i，详细的GPU型号请参见实例规格族。建议您选择显存更大的gn6i、gn6v或gn5实例。本示例中，选用了显存为16 GB的GPU实例。
- 镜像：在镜像市场中搜索并使用NVIDIA GPU Cloud VM Image。
- 公网带宽：选择分配公网IPv4地址或者在实例创建成功后绑定EIP地址。
- 安全组：选择的安全组需要开放以下端口：
  - TCP 22 端口，用于SSH登录
  - TCP 8888端口，用于支持访问JupyterLab服务
  - TCP 8787端口、TCP 8786端口，用于支持访问Dask服务
连接GPU实例。
连接方式请参见连接Linux实例。
输入NGC API Key后按回车键，登录NGC容器环境。
（可选）运行nvidia-smi查看GPU型号、GPU驱动版本等GPU信息。
建议您了解GPU信息，预判规避潜在问题。例如，如果NGC的驱动版本太低，新Docker镜像版本可能会不支持。

运行在步骤一中获取的docker pull命令下载RAPIDS镜像。

docker pull nvcr.io/nvidia/rapidsai/rapidsai:0.6-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6

（可选）查看下载的镜像。
建议您查看Docker镜像信息，确保下载了正确的镜像。
```
docker images
```

运行容器部署RAPIDS环境。

docker run --runtime=nvidia \
        --rm -it \
        -p 8888:8888 \
        -p 8787:8787 \
        -p 8786:8786 \
        nvcr.io/nvidia/rapidsai/rapidsai:0.6-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6

步骤三：运行RAPIDS Demo

在GPU实例上下载数据集和Demo文件。

# 获取apt源地址并下载脚本（脚本功能：下载训练数据、notebook、utils）
$ source_address=$(curl http://100.100.100.200/latest/meta-data/source-address|head -n 1)
$ source_address="${source_address}/opsx/ecs/linux/binary/machine_learning/"
$ wget $source_address/rapids_notebooks_v0.6/utils/download_v0.6.sh
# 执行下载脚本
$ sh ./download_v0.6.sh
# 切换到下载目录查看下载文件
$ apt update
$ apt install tree
$ tree /rapids/rapids_notebooks_v0.6/

下载成功后的文件结构如下图，共5个文件夹、16个文件：

在GPU实例上启动JupyterLab服务。

推荐直接使用命令启动。

# 切换到工作目录
$ cd /rapids/rapids_notebooks_v0.6/xgboost
# 启动jupyter-lab，直接使用命令启动，并设置登录密码
$ jupyter-lab --allow-root --ip=0.0.0.0 --no-browser --NotebookApp.token='登录密码'
# 退出
$ sh ../utils/stop-jupyter.sh

除使用命令外，您也可以执行脚本$ sh ../utils/start-jupyter.sh启动jupyter-lab，此时无法设置登录密码。
您也可以连续按两次Ctrl+C退出。

打开浏览器，在地址栏输入http://您的GPU实例IP地址:8888远程访问JupyterLab 。

说明推荐使用Chrome浏览器。

如果您在启动JupyterLab服务时设置了登录密码，会跳转到密码输入界面。
运行NoteBook代码。
该案例是一个抵押贷款回归的任务，详细信息请参见代码执行过程。登录成功后，可以看到NoteBook代码的代码包括以下内容：
- mortgage_2000_1gb文件夹：存储解压后的训练数据。该文件夹下包含：acq文件夹、perf文件夹和names.csv文件。
- xgboost_E2E.ipynb文件： XGBoost Demo文件。双击文件可以查看文件详情，单击下图中的执行按钮可以逐步执行代码，每次执行一个Cell。
- mortgage_2000_1gb.tgz文件： 2000年的抵押贷款回归训练数据（1G分割的perf文件夹下的文件不会大于1G，使用1G分割的数据可以更有效的利用GPU显存）。

代码执行过程

该案例基于XGBoost演示了数据预处理到训练的端到端的过程，主要分为三个阶段：

ETL（Extract-Transform-Load）：主要在GPU实例上进行。将业务系统的数据经过抽取、清洗转换之后加载到数据仓库。
Data Conversion：在GPU实例上进行。将在ETL阶段处理过的数据转换为用于XGBoost训练的DMatrix格式。
ML-Training：默认在GPU实例上进行。使用XGBoost训练梯度提升决策树。

NoteBook代码的执行过程如下：

准备数据集。
本案例的Shell脚本会默认下载2000年的抵押贷款回归训练数据（mortgage_2000_1gb.tgz），并解压到mortgage_2000_1gb文件夹。

如果您想获取更多数据用于XGBoost模型训练，可以设定参数download_url指定下载路径，具体下载地址请参见Mortgage Data。

示例效果如下：

设定相关参数。


参数名称	说明
start_year	指定选择训练数据的起始时间，ETL时会处理start_year到end_year之间的数据。
end_year	指定选择训练数据的结束时间，ETL时会处理start_year到end_year之间的数据。
train_with_gpu	是否使用GPU进行XGBoost模型训练，默认为True。
gpu_count	指定启动worker的数量，默认为1。您可以按需要设定参数值，但不能超出GPU实例的GPU数量。
part_count	指定用于模型训练的performance文件的数量，默认为 2 * gpu_count。如果参数值过大，在Data Conversion阶段会报错超出GPU内存限制，错误信息会在NoteBook后台输出。

示例效果如下：

启动Dask服务。
代码会启动Dask Scheduler，并根据gpu_count参数启动worker用于ETL和模型训练。

示例效果如下：
启动ETL。
ETL阶段会进行到表关联、分组、聚合、切片等操作，数据格式采用cuDF库的DataFrame格式（类似于pandas的DataFrame格式）。

示例效果如下：
启动Data Conversion。
将DataFrame格式的数据转换为用于XGBoost训练的DMatrix格式，每个worker处理一个DMatrix对象。

示例效果如下：
启动ML Training。
使用dask-xgboost启动模型训练，dask-xgboost负责多个dask worker间的通信协同工作，底层仍然调用xgboost执行模型训练。

示例效果如下：

函数功能	函数名称
下载文件	def download_file_from_url(url, filename):
解压文件	def decompress_file(filename, path):
获取当前机器的GPU个数	def get_gpu_nums():
管理GPU内存	def initialize_rmm_pool(): def initialize_rmm_no_pool(): def run_dask_task(func, **kwargs):
提交DASK任务	def process_quarter_gpu(year=2000, quarter=1, perf_file=""): def run_gpu_workflow(quarter=1, year=2000, perf_file="", **kwargs):
使用cuDF从CSV中加载数据	def gpu_load_performance_csv(performance_path, kwargs): def gpu_load_acquisition_csv(acquisition_path, kwargs): def gpu_load_names(**kwargs):
处理和提取训练数据的特征	def null_workaround(df, kwargs): def create_ever_features(gdf, kwargs): def join_ever_delinq_features(everdf_tmp, delinq_merge, kwargs): def create_joined_df(gdf, everdf, kwargs): def create_12_mon_features(joined_df, kwargs): def combine_joined_12_mon(joined_df, testdf, kwargs): def final_performance_delinquency(gdf, joined_df, kwargs): def join_perf_acq_gdfs(perf, acq, kwargs): def last_mile_cleaning(df, **kwargs):

在GPU实例上使用RAPIDS加速机器学习任务