对vLLM/SGLang推理引擎进行可观测

步骤一：准备环境变量

export ARMS_APP_NAME=xxx   # EAS应用名称。
export ARMS_REGION_ID=xxx   # 对应的阿里云账号的RegionID。
export ARMS_LICENSE_KEY=xxx   # 阿里云 LicenseKey。

步骤二：修改PAI-EAS运行命令

1. 登录PAI控制台，在页面上方选择目标地域，然后进入目标工作空间。

2. 在左侧导航栏选择模型部署 > 模型在线服务（EAS）。

3. 在推理服务页签选择要接入模型观测的应用，然后单击操作列的更新。

4. 修改运行命令。

   以接入DeepSeek-R1-Distill-Qwen-7B模型为例。

   vLLM原始指令：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   接入应用监控对应的vLLM指令：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   新增部分说明：

   1. 配置 pipy 仓库, 可以根据实际情况调整。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. 下载探针安装器。

      pip3 install aliyun-bootstrap;

   3. 使用安装器安装探针。

      请根据实际地域替换cn-hangzhou。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

   SGLang原始命令：

   python -m sglang.launch_server --model-path /model_dir

   接入应用监控对应的SGLang指令：

   pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument python -m sglang.launch_server --model-path /model_dir

   新增部分说明：

   1. 配置 pipy 仓库, 可以根据实际情况调整。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. 下载探针安装器。

      pip3 install aliyun-bootstrap;

   3. 使用安装器安装探针。

      请根据实际地域替换cn-hangzhou。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

5. 单击更新。