Llama模型（输入文本和图像）API参考

Python

示例代码

from http import HTTPStatus
import os
import dashscope


def call_with_messages():
    messages = [
        {
            "role": "user",
            "content": [
                {"image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"},
                {"text": "这是什么，请用中文回答?"}
            ]
        }
    ]

    response = dashscope.MultiModalConversation.call(
        # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
        api_key=os.getenv('DASHSCOPE_API_KEY'),
        model='llama3.2-90b-vision-instruct',
        messages=messages,
    )
    if response.status_code == HTTPStatus.OK:
        print(response.output.choices[0].message.content[0]["text"])
    else:
        print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
            response.request_id, response.status_code,
            response.code, response.message
        ))


if __name__ == '__main__':
    call_with_messages()

返回结果

这是一张照片，照片中是一只狗和一个女孩在海滩上互动。狗坐在沙滩上，伸出前爪，好像在和女孩握手。女孩也伸出手，好像在和狗握手。他们的表情都很开心，好像在玩游戏。背景是海滩和大海，天气看起来很好。整体来说，这张照片很温馨，好像是在记录一只狗和它的主人之间的亲密关系。

输入参数

输出参数

Java

示例代码

import java.util.Arrays;
import java.util.Collections;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversation;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationParam;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationResult;
import com.alibaba.dashscope.common.MultiModalMessage;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.exception.UploadFileException;
import com.alibaba.dashscope.utils.JsonUtils;
public class Main {
    public static void simpleMultiModalConversationCall()
            throws ApiException, NoApiKeyException, UploadFileException {
        MultiModalConversation conv = new MultiModalConversation();
        MultiModalMessage userMessage = MultiModalMessage.builder().role(Role.USER.getValue())
                .content(Arrays.asList(
                        Collections.singletonMap("image", "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"),
                        Collections.singletonMap("text", "这是什么?"))).build();
        MultiModalConversationParam param = MultiModalConversationParam.builder()
                .model("llama3.2-90b-vision-instruct")
                .message(userMessage)
                .build();
        MultiModalConversationResult result = conv.call(param);
        System.out.println(result.getOutput().getChoices().get(0).getMessage().getContent().get(0).get("text"));
    }
    public static void main(String[] args) {
        try {
            simpleMultiModalConversationCall();
        } catch (ApiException | NoApiKeyException | UploadFileException e) {
            System.out.println(e.getMessage());
        }
        System.exit(0);
    }
}

返回结果

这是一张照片，照片中有一个女孩和一只狗。女孩坐在沙滩上，狗坐在她旁边。女孩伸出手，狗也伸出爪子，好像在和女孩握手。女孩和狗都很开心的样子。背景是海滩和海洋，天气看起来很好。

curl

示例代码

curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "llama3.2-90b-vision-instruct",
    "input":{
        "messages":[
            {
                "role": "user",
                "content": [
                    {"image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"},
                    {"text": "这是什么?"}
                ]
            }
        ]
    }
}'

返回结果

{
    "output": {
        "choices": [
            {
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "这是一张照片，照片中有一个女孩和一只狗。女孩坐在沙滩上，狗坐在她旁边。女孩伸出手，狗也伸出爪子，好像在和女孩握手。女孩和狗都很开心的样子。背景是海滩和海洋，天气看起来很好。"
                        }
                    ]
                }
            }
        ]
    },
    "usage": {
        "output_tokens": 79,
        "input_tokens": 45
    },
    "request_id": "c3e73869-77a5-9f29-a1cf-a42b7800805f"
}

Python

示例代码

import os
from dashscope import MultiModalConversation

messages = [
    {
        "role": "user",
        "content": [
            {
            "image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"
            },
            {"text": "这是什么?"},
        ],
    }
]
response = MultiModalConversation.call(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    model='llama3.2-90b-vision-instruct',
    messages=messages)
print(f"模型第一轮输出：{response.output.choices[0].message.content[0]['text']}")
messages.append(response['output']['choices'][0]['message'])
user_msg = {"role": "user", "content": [{"text": "做一首诗描述这个场景"}]}
messages.append(user_msg)
response = MultiModalConversation.call(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    model='llama3.2-90b-vision-instruct',
    messages=messages)
print(f"模型第二轮输出：{response.output.choices[0].message.content[0]['text']}")

返回结果

模型第一轮输出：这是一张照片，照片中有一个女孩和一只狗。女孩坐在沙滩上，狗坐在她旁边。女孩伸出手，狗也伸出爪子，好像在和女孩握手。女孩和狗都很开心的样子。背景是海滩和海洋，天气看起来很好。
模型第二轮输出：海滩上的女孩和狗，
握手，笑容满面。
狗的爪子，女孩的手，
一起握紧，心心相连。
海浪拍打，沙滩上，
女孩和狗，享受幸福。
他们的笑声，海浪的声，
融合在一起，幸福的旋律。

Java

示例代码

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collections;
import java.util.List;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversation;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationParam;
import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationResult;
import com.alibaba.dashscope.common.MultiModalMessage;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.exception.UploadFileException;
public class Main {
    private static final String modelName = "llama3.2-90b-vision-instruct";
    public static void MultiRoundConversationCall() throws ApiException, NoApiKeyException, UploadFileException {
        MultiModalConversation conv = new MultiModalConversation();
        MultiModalMessage systemMessage = MultiModalMessage.builder().role(Role.SYSTEM.getValue())
                .content(Arrays.asList(Collections.singletonMap("text", "You are a helpful assistant."))).build();
        MultiModalMessage userMessage = MultiModalMessage.builder().role(Role.USER.getValue())
                .content(Arrays.asList(Collections.singletonMap("image", "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"),
                        Collections.singletonMap("text", "这是什么?"))).build();
        List<MultiModalMessage> messages = new ArrayList<>();
        messages.add(systemMessage);
        messages.add(userMessage);
        MultiModalConversationParam param = MultiModalConversationParam.builder()
                // 若没有配置环境变量，请用百炼API Key将下行替换为：.apiKey("sk-xxx")
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))                .model(modelName)
                .messages(messages)
                .build();
        MultiModalConversationResult result = conv.call(param);
        System.out.println("第一轮输出："+result.getOutput().getChoices().get(0).getMessage().getContent().get(0).get("text"));        // add the result to conversation
        messages.add(result.getOutput().getChoices().get(0).getMessage());
        MultiModalMessage msg = MultiModalMessage.builder().role(Role.USER.getValue())
                .content(Arrays.asList(Collections.singletonMap("text", "做一首诗描述这个场景"))).build();
        messages.add(msg);
        param.setMessages((List)messages);
        result = conv.call(param);
        System.out.println("第二轮输出："+result.getOutput().getChoices().get(0).getMessage().getContent().get(0).get("text"));    }

    public static void main(String[] args) {
        try {
            MultiRoundConversationCall();
        } catch (ApiException | NoApiKeyException | UploadFileException e) {
            System.out.println(e.getMessage());
        }
        System.exit(0);
    }
}

返回结果

第一轮输出：这是一张照片，照片中有一个女孩和一只狗。女孩坐在沙滩上，狗坐在她旁边。女孩伸出手，狗也伸出爪子，好像在和女孩握手。女孩和狗都很开心的样子。背景是海滩和海洋，天气看起来很好。
第二轮输出：海滩上的女孩和狗，

握手，笑容满面。

狗的爪子，女孩的手，

一起握紧，心心相连。

海浪拍打，沙滩上，

女孩和狗，享受幸福。

他们的笑声，海浪的声，

融合在一起，幸福的旋律。

curl

示例代码

curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "llama3.2-90b-vision-instruct",
    "input":{
        "messages":[
            {
                "role": "user",
                "content": [
                    {"image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"},
                    {"text": "这是什么?"}
                ]
            },
            {
                "role": "assistant",
                "content": [
                    {"text": "这是一只小狗和一个女孩在海边。"}
                ]
            },
            {
                "role": "user",
                "content": [
                    {"text": "做一首诗描述这个场景"}
                ]
            }
        ]
    }
}'

返回结果

{
    "output": {
        "choices": [
            {
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "海边小狗嬉戏，女孩笑容如花。\n\n小狗摇尾巴，女孩抚摸它的头。\n\n海浪拍打岸边，女孩和小狗一起玩耍。\n\n夕阳西下，女孩和小狗一起享受美丽的时刻。"
                        }
                    ]
                }
            }
        ]
    },
    "usage": {
        "output_tokens": 66,
        "input_tokens": 81
    },
    "request_id": "46fbf222-09b1-95cb-978a-621cc463b9a0"
}