魔搭大模型一键部署到阿里云ENS

模型选择

魔搭社区为您提供了热门模型的优先推荐列表，也支持通过搜索功能为您查找特定模型。下面我们以unsloth/Qwen3-8B-GGUF为例进行介绍：

服务部署配置

• 基础配置

  针对该模型，我们选择Ollama作为推理框架，并在免费部署资源中选用边缘节点服务ENS进行部署。对于其他模型，您可以根据需求灵活选择CPU或GPU部署。

  

  重要

  • 当前单账号仅支持10个免费CPU服务实例、1个GPU服务实例。

  • 请您确保您的账号下资源充足。当资源不够时，服务创建将会报错，并且服务状态会变更为资源不足。

  • 当前免费算力供应紧张，边缘节点服务ENS正在安排扩容，请您保持关注。

• 高级配置

  1. 默认模型文件选择为Qwen3-8B-Q4_K_M.gguf，您可以在列表中更换模型文件，以选择特定的量化版本。

  2. 快速部署（SwingDeploy）提供默认的Modelfile配置文件，您可以单击编辑来自定义编辑。

  3. 如果您有业务需要，您也可自定义配置环境变量。

     

  4. 确认信息无误后，单击一键部署。您可以在快速部署（SwingDeploy）控制台确认服务状态。

     说明

     模型部署需要一定耗时，包括模型下载、制作、资源生产和部署，请您耐心等待。

     

代码示例

以下代码基于示例代码改造，实现了一个简易的终端问答Bot，用于测试模型效果。我们优化了终端的输入输出交互体验。如需运行此代码，请根据您在魔搭部署任务详情页中的配置信息，替换服务地址、API Key以及模型路径。

from openai import OpenAI
import sys
from prompt_toolkit import PromptSession
from prompt_toolkit.styles import Style
import time
import tiktoken
import shutil

# 初始化 OpenAI 客户端，base_url,api_key,model请按实际情况填写。
client = OpenAI(
    base_url=<填写魔搭侧的服务地址>,
    api_key=<填写魔搭侧的服务api_key>
)

model = <填写模型路径，如unsloth/Qwen3-8B-GGUF>

def num_tokens_from_string(string: str) -> int:
    """计算文本中的 tokens 数量"""
    encoding = tiktoken.get_encoding("cl100k_base")
    num_tokens = len(encoding.encode(string))
    return num_tokens

def get_terminal_size():
    """获取终端大小"""
    return shutil.get_terminal_size()

def clear_current_line():
    """清除当前行"""
    terminal_width = get_terminal_size().columns
    print('\r' + ' ' * terminal_width + '\r', end='', flush=True)

def chat_with_model():
    # 创建 prompt session 和自定义样式
    session = PromptSession()
    style = Style.from_dict({
        'prompt': '#00aa00 bold',
    })
    
    messages = [
        {
            'role': 'system',
            'content': '你是一个有帮助的助手。'
        }
    ]
    
    print("欢迎使用AI助手！输入'退出'或'quit'可以结束对话。")
    
    while True:
        try:
            # 使用 prompt_toolkit 处理输入
            user_input = session.prompt('\n你: ', style=style)
            
            if user_input.lower() in ['退出', 'quit']:
                print("再见！")
                break
                
            messages.append({
                'role': 'user',
                'content': user_input
            })
            
            print("\nAI助手: ", end='', flush=True)
            try:
                start_time = time.time()
                response = client.chat.completions.create(
                    model=model,
                    messages=messages,
                    stream=True
                )
                
                full_response = ""
                for chunk in response:
                    if chunk.choices[0].delta.content:
                        content = chunk.choices[0].delta.content
                        print(content, end='', flush=True)
                        full_response += content
                
                end_time = time.time()
                elapsed_time = end_time - start_time
                
                # 计算 tokens
                response_tokens = num_tokens_from_string(full_response)
                tokens_per_second = response_tokens / elapsed_time
                
                # 确保统计信息显示在新行，并在显示后额外添加换行
                print("\n")  # 先确保有一个空行
                stats = f"[统计] 响应tokens: {response_tokens}, 用时: {elapsed_time:.2f}秒, 速率: {tokens_per_second:.2f} tokens/s"
                print(stats)
                print()  # 添加额外的换行确保滚动
                sys.stdout.flush()  # 强制刷新输出缓冲区
                
                messages.append({
                    'role': 'assistant',
                    'content': full_response
                })
                
            except Exception as api_error:
                print(f"\n请求API时发生错误: {str(api_error)}")
                print()  # 额外的换行
                continue
            
        except KeyboardInterrupt:
            print("\n\n检测到中断，正在退出...")
            print()  # 额外的换行
            break
        except Exception as e:
            print(f"\n发生错误: {str(e)}")
            print()  # 额外的换行
            continue

if __name__ == "__main__":
    try:
        chat_with_model()
    except Exception as e:
        print(f"程序发生错误: {str(e)}")
        print()  # 额外的换行
        sys.exit(1)

部署效果

上述示例代码部署效果如下：