快速开始

前提条件

请确保您已开通阿里云百炼大模型服务：开通大模型服务平台百炼服务。

创建应用

您可以在百炼平台创建多种大模型应用。以下是四个常见的大模型应用场景：

• 直接调用模型

• 模型训练

• 创建智能体API

• 创建RAG应用

直接调用模型

模型体验中心

您可以单击左侧边栏的模型中心-模型服务-模型体验中心，选择1-3个模型进行测试，体验模型的问答效果。

模型广场

您可以进入模型广场，选择您想要通过API调用的模型，单击查看详情，在模型列表中找到您想要调用的模型名称，单击调用文档查看该模型的调用方式。

Prompt工程

Prompt工程可以使大模型更准确地执行用户指令。您可以使用Prompt模板与Prompt优化来挑选或提升您的prompt质量。

• 在Prompt模板中，您可以在系统模板中挑选适合您使用场景的prompt，也可以在自定义模板中，单击新增模板，按照模板内容要求编写自定义prompt模板并保存。单击您想使用的prompt模板中的调用，您可以将prompt模板集成到您的代码中；您也可以直接复制prompt模板并集成到代码中。

• 在Prompt优化中，您可以输入原始prompt并单击优化，系统会自动生成优化后的prompt供您参考。

模型训练

您可以使用百炼平台的模型训练功能来训练专属大模型。

1. 准备训练集数据并上传

   您可以单击左侧边栏的模型中心-模型工具-训练数据，在训练集界面单击上传数据集，数据集的文件格式可以为jsonl、xls、xlsx。

   说明

   上传数据集界面包含训练集模板文件，您的训练集文件需要符合训练集模板文件的格式。

   

2. 训练及部署模型

   您可以单击左侧边栏的模型中心-模型工具-模型调优，单击训练新模型按钮，配置训练参数。

   说明

   模型训练前务必先开通模型训练计费，模型训练采用后付费模式，详细模型计费请参考产品计费。

   • 您可以根据需求选择训练方式，单击下一步；

   • 单击预制模型，并在下拉列表中选择您想使用的基座模型，单击下一步；

   • 选择准备训练集数据并上传步骤中上传的训练集，单击下一步；

   • 选择自动切分来从训练集中划定验证数据，单击下一步；

   • 在混合训练中调整不同训练数据种类的比例，单击下一步；

   • 在超参配置中设置训练参数，保持默认即可，单击下一步；

   • 在模型名称处自定义训练模型的名称，并在页面中查看模型的训练配置参数。在开始训练处单击开始训练。

   当模型训练完成后，您可以在训练状态处看到训练成功字样。您需要对模型进行部署来使用该模型，请单击模型部署。

   • 您可以单击部署新模型；

   • 单击自定义模型，并在下拉列表中找到您自定义训练模型的名称，单击下一步；

   • 您可以在资源配置中按需选择包月资源或按量付费，此处选择按量付费，实例数设为1，单击下一步；

   • 您可以在开始部署界面查看模型的部署配置，单击开始部署。状态变为运行中代表模型已部署成功。

3. 评测模型

   您可以通过模型评测功能来查看训练模型的质量。单击左侧工具栏中模型中心-模型工具-模型评测，进入模型评测界面。

   • 单击创建评测任务；

   • 在评测方式处选择基线评测，并在评测模型下拉列表中选择您训练完成的模型，单击下一步；

   • 您可以在评测数据处选择榜单评测或能力评测，您可以选择多个数据进行评测，此处以能力评测中的理解能力为例，单击下一步；

   • 在评测维度处可以查看您选择的评测数据所对应的评测维度，单击下一步；

   • 您可以在开始评测处看到模型评测的配置详情，单击开始评测；

   • 当评测状态为已完成时，您可以单击结果来查看评测结果。

创建智能体API

您可以通过创建智能体API，使用外部插件来增强模型生成回复的质量。

1. 创建智能体

   • 单击应用中心-应用服务-我的应用，单击新增应用。

   • 输入自定义的应用名称，选择创建方式为智能体-智能体API，单击下一步。

   • 在界面内选择模型，并输入Prompt，您可以输入以下文字：“你是一个很有帮助的助手。你可以运行Python代码、计算数学问题、也可以搜索实时信息。”

     单击Prompt优化并使用系统优化后的prompt；将官方插件中的三个插件全部勾选；单击保存并发布。

2. 体验智能体

   您可以在应用中心-应用服务-我的应用中，找到您创建好的智能体API应用，单击测试来使用您创建的应用。

3. 调用智能体

   如果您需要使用API来调用智能体，可以参考智能体API应用。

创建RAG应用

大模型在面对事实性问题时可能会出现幻觉现象，您可以创建RAG应用来集成您的知识库文件，提高回答的准确性并减少错误信息的产生。

1. 上传知识库文件

   单击左侧边栏的应用中心-应用工具-企业知识库，单击上传企业知识，在类型处选择文档，选择默认知识库，并上传您的知识库文件。文件导入完成后，单击确认上传。

2. 新增应用

   单击左侧边栏的应用中心-应用服务-应用广场，在应用模板处选择RAG检索增强应用模板，单击创建应用，输入新建应用的名称。选择模型与默认知识库，单击创建完成。

3. 体验RAG应用

   单击左侧边栏的应用中心-应用服务-我的应用，找到创建完成的应用，单击测试并输入测试内容，体验RAG应用。

4. 调用RAG应用

   您可以参考RAG检索增强应用来使用API调用您的RAG应用。