百炼 Confidential MaaS 最佳实践

使用机密推理命令行工具

使用命令行工具

# MacOS/Linux
# 请将您的百炼API Key配置在环境变量中
export DASHSCOPE_API_KEY="sk-xxx"
# 请将 --model 后的参数替换为模型部署成功后的code
./cmaas-client --endpoint wss://dashscope.aliyuncs.com/api-ws/v1/inference --model <code> --prompt "简短介绍大语言模型" --stream

# Windows Powershell
# 请将您的百炼API Key配置在环境变量中
$env:DASHSCOPE_API_KEY = "sk-xxx"
# 请将 --model 后的参数替换为模型部署成功后的code
.\cmaas-client.exe --endpoint wss://dashscope.aliyuncs.com/api-ws/v1/inference --model <code> --prompt "简短介绍大语言模型" --stream

使用 OpenAI 兼容- Chat 接口

为了便于使用，基于 SDK 构建了 OpenAI 兼容-Chat 接口的 HTTP 本地代理工具。OpenAI Proxy 工具已经在上一章节中make命令构建完成。

1. 本地启动 openai-proxy代理工具

   # MacOS/Linux
   # 请将您的百炼API Key配置在环境变量中
   export DASHSCOPE_API_KEY="sk-xxx"
   # 请将 --model 后的参数替换为模型部署成功后的code
   ./openai-proxy --endpoint wss://dashscope.aliyuncs.com/api-ws/v1/inference --model <code> --listen :8080
   
   # Windows Powershell
   # 请将您的百炼API Key配置在环境变量中
   $env:DASHSCOPE_API_KEY = "sk-xxx"
   # 请将 --model 后的参数替换为模型部署成功后的code
   .\openai-proxy.exe --endpoint wss://dashscope.aliyuncs.com/api-ws/v1/inference --model <code> --listen :8080

2. 在新的终端中使用 OpenAI Python SDK 发送 OpenAI 兼容 Chat 请求

   import os
   from openai import OpenAI
   
   client = OpenAI(
       # 若没有配置环境变量，请用百炼API Key将下一行替换为：api_key="sk-xxx",
       api_key=os.getenv('DASHSCOPE_API_KEY'),
       base_url="http://localhost:8080/v1",
   )
   
   completion = client.chat.completions.create(
       model="xxx",  # 请替换为模型部署成功后的code
       messages=[
           {"role": "system", "content": "You are a helpful assistant."},
           {"role": "user", "content": "你是谁？"},
       ],
       extra_body={"enable_thinking": False},
   )
   
   print(completion.choices[0].message.content)

接口功能限制：

• 不支持多模态输入与显式缓存及相关参数功能（modalities/audio/vl_high_resolution_images）

• 不支持设置推理力度（reasoning_effort参数）、代码解释器（enable_code_interpreter）等功能。

• 出于数据安全隐私考虑，不支持联网搜索（enable_search）。

• 只支持 200k 以下的推理请求上下文。