统一调用多个大模型服务

创建阿里云百炼服务器组

1. 在服务器组控制台，单击创建服务器组，服务器组类型选择AI服务，给其一个易于识别的名称，本文为sgp-ai-qwen。

2. 单击创建，在服务器组创建成功对话框单击添加后端服务器。

3. 在添加AI服务对话框完成以下配置，单击确定。

   • 大模型供应商：选择阿里云百炼。

   • 服务地址：选择大模型供应商后自动填充。

   • 身份凭证：选择为阿里云百炼API Key创建的身份凭证，支持选择多个。ALB会从已选身份凭证中选择一个API Key与大模型服务建立通信，配置多个可分摊单个API Key的调用配额，并提升服务可用性。

   • ApiKey健康检查：建议开启。开启后，当后端返回401或429状态码时，ALB会自动摘除对应的API Key，请求转由其他可用的API Key承载。

创建DeepSeek服务器组

1. 重复上述步骤，创建第二个AI服务类型的服务器组，命名为sgp-ai-deepseek。

2. 添加后端服务器时，大模型供应商选择DeepSeek，身份凭证选择为DeepSeek API Key创建的身份凭证（同样支持选择多个），并开启ApiKey健康检查，单击确定。

配置阿里云百炼转发规则

1. 在实例监听页签，单击目标监听ID。在监听详情页切换到转发规则页签。

2. 单击插入新规则，完成以下配置后单击确定。

   • 转发条件：选择AI模型。

   • 模型名称：输入qwen-turbo。

   • 转发动作：转发至sgp-ai-qwen服务器组。

配置DeepSeek转发规则

1. 重复上述步骤，添加第二条转发规则。

2. 模型名称输入deepseek-chat，转发至sgp-ai-deepseek服务器组。

测试阿里云百炼（qwen-turbo模型）

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "你是谁"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

请求成功时，返回如下响应。响应中的model字段为qwen-turbo，content字段包含千问的自我介绍，表明请求已正确路由至阿里云百炼。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "我是千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我的中文名字是千问，英文名字是Qwen。我能够回答问题、创作文字、逻辑推理、编程等多种任务。你可以叫我Qwen或者千问。有什么我可以帮助你的吗？"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

测试DeepSeek（deepseek-chat模型）

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "你是谁"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

请求成功时，返回如下响应。响应中的model字段为deepseek-chat，content字段包含DeepSeek的自我介绍，表明请求已正确路由至DeepSeek。

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "你好！我是DeepSeek，由深度求索公司创造的AI助手！\n\n我是一个纯文本模型，虽然不支持多模态识别功能，但我有文件上传功能，可以帮你处理图像、txt、pdf、ppt、word、excel等文件，并从中读取文字信息进行分析处理。\n\n我的一些特点：\n- 完全免费使用，没有收费计划\n- 上下文长度达128K，可以处理很长的对话\n- 支持联网搜索（需要手动开启）\n- 可以通过官方应用商店下载App使用\n- 知识截止到2024年7月\n\n我很乐意帮助你解答问题、协助思考、处理文档或者进行各种对话交流！有什么我可以帮你的吗？✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}