自定义模型部署

部署模式对比：弹性实例 vs. 常驻实例

FunModel 提供两种实例类型，以适应不同负载特征的业务场景。弹性实例是按时付费的灵活模式，侧重于成本控制，常驻实例是长期预留的稳定模式，侧重于性能保障。详情可参见：实例类型和规格。

推理框架对比：vLLM vs. SGLang

FunModel 内置了 vLLM 和 SGLang 这两种主流的高性能推理框架（vLLM 和 SGLang 部署方式目前仅针对大语言模型）。

说明：vLLM 是通用的高性能推理方案，社区支持广泛。当需要处理复杂的提示工程或结构化输出时，SGLang 可能提供更好的支持。

模型来源说明

FunModel 支持从不同来源加载模型，模型文件最终都会被挂载到实例的 /mnt/ 目录下。

方法一：使用预置框架部署 (vLLM/SGLang)

此方法适用于大多数标准 LLM 模型，无需用户自行构建镜像，是推荐的快速部署方式。

1. 在FunModel控制台，点击 自定义开发。

2. 根据您的需求选择模型环境，并填写 模型名称 和 模型描述。

3. 选择 模型来源，并根据模型来源说明填写相关路径信息。

4. 选择 实例类型（弹性实例 或 常驻实例）和合适的实例规格。

   • 注意：所选的 实例规格（尤其是 GPU 显存）必须满足模型运行的要求，否则可能导致显存溢出（OOM）而部署失败。

5. 配置 启动命令 和 监听端口。此命令将在容器启动后执行，用以加载模型并启动推理服务。系统会根据您选择的模型来源提供一个默认的启动命令参考，您可以根据实际需求进行调整。

   • vLLM 启动命令示例

     # 部署 Qwen3-0.6B 模型
     # /mnt/Qwen3-0.6B为模型在容器内的挂载路径，需与模型来源的挂载路径一致。
     # --served-model-name: API调用时使用的模型名称。
     # --tensor-parallel-size: 张量并行数，通常设为实例的GPU卡数。
     vllm serve /mnt/Qwen3-0.6B \
       --served-model-name Qwen/Qwen3-0.6B \
       --port 9000 \
       --trust-remote-code \
       --tensor-parallel-size 1 \
       --gpu-memory-utilization 0.9 \
       --max-model-len 8192

     说明：更多启动参数请参考 vLLM 官方文档。

   • SGLang 启动命令示例

     # 部署 Llama3-8B 模型
     # --model-path: 指定模型在容器内的挂载路径。
     # --host: 服务监听地址，必须设为 0.0.0.0。
     # --tp-size: 张量并行大小，即张量并行数。
     python3 -m sglang.launch_server \
       --model-path /mnt/Llama3-8B-Instruct \
       --host 0.0.0.0 \
       --port 9000 \
       --tp-size 1

     说明：更多启动参数请参考SGLang 官方文档。

6. 角色名称：用于访问云资源的RAM角色，需具备必要权限，建议选择AliyunFCDefaultRole。

7. 确认所有配置无误后，点击 创建模型服务。

方法二：使用自定义镜像部署

服务调用

在服务详情页的概览 > 访问信息中获取访问地址和认证 Token。vLLM 和 SGLang 部署的服务通常兼容 OpenAI API 格式。

cURL 调用示例

# 请将 <YOUR_ENDPOINT> 和 <YOUR_TOKEN> 替换为您的实际信息
ENDPOINT_URL="<YOUR_ENDPOINT>"
TOKEN="<YOUR_TOKEN>"

curl $ENDPOINT_URL/v1/chat/completions \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-0.6B",
    "messages": [
      {"role": "user", "content": "你好"}
    ],
    "stream": false
  }'

Python SDK调用示例

import requests
import json

# 请将 <YOUR_ENDPOINT> 和 <YOUR_TOKEN> 替换为您的实际信息
ENDPOINT_URL = "<YOUR_ENDPOINT>/v1/chat/completions"
TOKEN = "<YOUR_TOKEN>"

headers = {
    "Authorization": f"Bearer {TOKEN}",
    "Content-Type": "application/json"
}

data = {
    "model": "Qwen3-0.6B",  # 此处 model 名称需与启动命令中 --served-model-name 一致
    "messages": [
        {"role": "user", "content": "你好，请介绍一下你自己"}
    ],
    "stream": False
}

response = requests.post(ENDPOINT_URL, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print(response.json())
else:
    print(f"Error: {response.status_code}, {response.text}")

日志与监控

• 操作记录 > 部署日志：记录服务部署过程中的关键步骤，包括模型下载、镜像拉取、实例启动以及加载模型等，是排查部署失败的核心依据。

• 日志：记录服务启动后运行期间的请求处理和错误信息，用于排查调用异常。

• 监控：查看 QPS、延迟、GPU 使用率等指标，用于评估服务性能。

常见问题与排查

1. 部署失败

   • 检查部署日志：首先查看部署日志中的错误信息。

   • 检查模型路径：确认启动命令中引用的模型路径 (/mnt/...) 与模型来源的挂载规则是否匹配。

   • 检查实例规格：日志中若出现 OutOfMemoryError 或 OOM，通常表示实例显存不足，请尝试更换更高规格的实例。

   • 检查 RAM 权限：若出现 permission denied 或 403 Forbidden，通常是由于操作的子账号缺少 Devs 相关权限，导致服务配置无法保存。

2. 服务启动失败

   • 检查服务日志：确认服务启动命令是否执行成功，有无报错。

   • 检查端口配置：确保启动命令中指定的端口（如 --port 9000）与控制台配置的端口一致。

   • 检查监听地址：对于自定义镜像，确保服务监听的 host 是 0.0.0.0。

3. 性能问题

   • 优化启动参数：对于多 GPU 实例，确保设置了--tensor-parallel-size以启用并行计算。

   • 升级实例规格：如果监控显示 GPU 使用率等资源已达瓶颈，可考虑升级到更高性能的实例。

   • 使用模型量化：通过模型量化技术（如 AWQ, GPTQ）可降低显存占用和计算量，此操作可能需要通过自定义镜像实现。