在PAI-EAS上部署大语言模型

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

其中：

• <EAS_ENDPOINT>和<EAS_TOKEN>需替换为部署服务的访问地址和Token。

• <model_name>需替换为模型名称。对于vLLM/SGLang，可通过模型列表接口<EAS_ENDPOINT>/v1/models获取。

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

推荐使用官方Python SDK与服务交互。确保已安装OpenAI SDK：pip install openai。

from openai import OpenAI

# 1. 配置客户端
# <EAS_TOKEN>需替换为部署服务的Token
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT>需替换为部署服务的访问地址
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. 获取模型名称
# 对于BladeLLM， 设置model = ""。 因为BladeLLM不需要model入参，也不支持使用client.models.list()方式获取模型名称。设置空字符串以兼容OpenAI SDK的强制参数要求
models = client.models.list()
model = models.data[0].id
print(model)

# 3. 发起对话请求
# 支持流式（stream=True）和非流式（stream=False）输出
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests库

对于不希望引入OpenAI SDK依赖的场景，可使用requests库。

import json
import requests

# <EAS_ENDPOINT>需替换为部署服务的访问地址
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# <EAS_TOKEN>需替换为部署服务的Token
EAS_TOKEN = "<EAS_TOKEN>"
# <model_name>需替换为模型名称，可通过模型列表接口<EAS_ENDPOINT>/v1/models获取（对于BladeLLM，不支持该接口，可省略 "model" 字段或设为 ""）。
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # 以下代码用于处理Server-Sent Events (SSE)格式的流式响应
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. 安装模型供应商OpenAI-API-compatible

   单击页面右上角的头像-设置，左侧选择模型供应商。如果模型列表中没有OpenAI-API-compatible，在下方列表查找安装。

   

2. 添加模型

   单击OpenAI-API-compatible卡片右下角添加模型，参数如下配置：

   • 模型类型：选择LLM。

   • 模型名称：vLLM部署请通过/v1/models接口发送GET请求获取。示例填写Qwen3-8B。

   • API Key：填写EAS服务Token。

   • API endpoint URL：填写EAS服务公网调用地址（注意末尾加上/v1）。

3. 测试使用

   1. 在Dify主界面单击创建空白应用，选择Chatflow类型，填入应用名称等信息后单击创建。

   2. 单击LLM节点，选择添加的模型，并设置上下文和提示词。

   3. 单击右上角预览，输入问题。

      

Chatbox

1. 前往Chatbox，根据您的设备下载并安装合适的版本，或直接启动网页版。本方案以macOS M3为例。

2. 添加模型提供方。单击设置，添加模型提供方，填写名称如pai，API模式选择OpenAI API兼容。

   

3. 选择模型提供方pai，配置如下参数。

   • API 密钥：填写EAS服务Token。

   • API 主机：填写EAS服务公网调用地址（注意末尾加上/v1）。

   • API 路径：无需填写。

   • 模型：单击获取进行添加（若推理引擎为BladeLLM，不支持通过接口获取，可单击新建填写）。

   

4. 对话测试。单击新对话，文本输入框右下角选择模型服务。

   

Cherry Studio

1. 安装客户端

   访问 Cherry Studio 下载并安装客户端。

   也可以访问https://github.com/CherryHQ/cherry-studio/releases进行下载。

2. 配置模型服务。

   1. 单击左下角的设置按钮，在模型服务栏下方单击添加。在提供商名称中填写自定义名称，如PAI，提供商类型为OpenAI。单击确定。

   2. 在API 密钥填写EAS服务Token；在API 地址填写EAS服务公网调用地址。

   3. 单击添加，在模型ID 中填写模型名称（vLLM部署请通过/v1/models接口发送GET请求获取），示例填写Qwen3-8B（注意大小写）。

   4. 在API 密钥输入框旁单击检测来确认连通性。

3. 快速体验模型

   回到对话框界面，在顶部选择模型后开始对话。