DashScopeLLM

开始

前提条件

• 已开通百炼服务：开通阿里云百炼大模型服务产品。

• 创建API_KEY：获取API-KEY。

• 安装LlamaIndex环境和DashScopeLLM依赖：

!pip install llama-index-core
!pip install llama-index-llms-dashscope

示例代码

• 导出环境变量，将API KEY传入DashScope对象初始化参数：

%env DASHSCOPE_API_KEY=YOUR_DASHSCOPE_API_KEY

from llama_index.llms.dashscope import DashScope, DashScopeGenerationModels

dashscope_llm = DashScope(
  model_name=DashScopeGenerationModels.QWEN_MAX, api_key=os.environ["DASHSCOPE_API_KEY"]
)
resp = dashscope_llm.complete("请帮我推荐一下江浙沪5天的旅游攻略？")
print(resp)

基础用法

初始化DashScope对象

• 选择Qwen_MAX模型；

from llama_index.llms.dashscope import DashScope, DashScopeGenerationModels

dashscope_llm = DashScope(model_name=DashScopeGenerationModels.QWEN_MAX)

Complete函数

• 基于用户提出的问题，进行答案补全，适用于非对话场景；

resp = dashscope_llm.complete("请帮我推荐一下江浙沪5天的旅游攻略？")
print(resp)

StreamComplete函数

• 支持流式输出；

responses = dashscope_llm.stream_complete("请帮我推荐一下江浙沪5天的旅游攻略？")
for response in responses:
    print(response.delta, end="")

Chat函数

• 基于LlamaIndex定义Message数据结构，调用chat接口；

from llama_index.core.base.llms.types import MessageRole, ChatMessage

messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(role=MessageRole.USER, content="请帮我推荐一下江浙沪5天的旅游攻略？"),
]
resp = dashscope_llm.chat(messages)
print(resp)

StreamChat函数

• 支持流式输出；

responses = dashscope_llm.stream_chat(messages)
for response in responses:
    print(response.delta, end="")

多轮对话

messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(role=MessageRole.USER, content="请帮我推荐一下江浙沪5天的旅游攻略？"),
]
# 第一轮对话
resp = dashscope_llm.chat(messages)
print(resp)

# 添加回复到Message中
messages.append(
    ChatMessage(role=MessageRole.ASSISTANT, content=resp.message.content)
)

messages.append(
    ChatMessage(role=MessageRole.USER, content="请问上海推荐住在哪里？")
)
# 第二轮对话
resp = dashscope_llm.chat(messages)
print(resp)

参数说明

输入参数

• 关键参数说明如下，部分LlamaIndex LLM通用参数不在这里赘述：

输出参数