如何快速体验调用通义大模型

更新时间:

本次实验任务是在云上使用阿里云百炼创建一个企业知识检索大模型应用,通过上传企业知识,让大模型在企业知识中检索答案,最终将正确答案返回给用户。

场景简介

本次实验任务是在云上使用阿里云百炼创建一个企业知识检索大模型应用,通过上传企业知识,让大模型在企业知识中检索答案,最终将正确答案返回给用户。

背景知识

本场景主要涉及以下云产品和服务:

  • 大模型服务平台百炼

    基于通义系列大模型和三方大模型的一站式大模型服务平台,提供生成式大模型的全流程应用工具和企业大模型的全链路训练工具。

您可扫描下方二维码或者钉钉搜索钉钉群号: 77600022533,加入阿里云百炼答疑群。

image

前提条件

云起实验室将在您的账号下开通本次实操资源,资源按量付费,需要您自行承担本次实操的云资源费用。

重要

本实验预计产生费用0.2元。如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。

进入实操前,请确保阿里云账号满足以下条件:

  • 已通过实名认证并且账户余额充足。

  • 云资源产生的费用需您自行承担,云起实验室不会向您征收额外费用。

  • 所有实验操作将保留至您的账号,请谨慎操作。

  • 实操结束后,您可以选择继续付费保留资源,或参考手册自动/手动释放资源。

开通大模型服务平台百炼

本步骤指导您如何开通大模型服务平台百炼,如果您已开通过,请跳过此步骤。

说明

大模型服务平台百炼为首次开通服务的用户提供免费试用额度,开通的阿里云主账号与其RAM子账号共享免费试用额度。免费试用额度从开通阿里云百炼或模型申请通过之日起计算有效期,有效期一般是30~180天不等。

  1. 在实验页面,勾我已阅读并同意《阿里云云起实践平台服务协议》后,单击进入实操

    image

  2. 前往阿里云百炼控制台,如果页面顶部显示以下消息,您需要开通阿里云百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通,请跳过此步骤。

    image

  3. 在弹出的对话框中,勾选我已阅读并同意《模型管理服务协议》,单击确认开通

    image

模型体验

模型广场提供通义模型、三方模型等类型,可以在模型广场中选择自己业务场景需要的模型规格。

说明

在本实验中,老用户使用阿里云百炼的模型体验会产生一定的费用,详情请参见计费项。新用户会有免费试用额度,详情请参见新人免费额度

  1. 前往模型广场

  2. 在左侧导航栏中,单击文本模型

    image

  3. 文本对话页签,您可以同时最多选择3个模型进行体验。本实验以通义千问-Max、通义千问-Plus、通义千问-Turbo为例。

    说明

    您可以在更多模型中选择所有的模型。

    image

    image

  4. 文本对话页签,选择通义千问-Max、通义千问-Plus、通义千问-Turbo三个模型后,在页面下方输入Prompt,单击图标发送。

    说明

    Prompt示例:什么是阿里云百炼。

    image

  1. 文本对话页签,您可以查看到三个模型对于同一个问题所生成不同的内容。

    image

  2. 在模型内容生成的过程中,您可以在模型下方单击停止回答,停止模型内容的生成。

    image

  3. 问答生成后,下方显示字数输入tokens输出tokens内容,右侧的重新生成可以选择让模型重新生成内容,上方的替换可以选择其他的模型进行体验测试。

    image

  4. 在左侧导航栏,单击模型广场

    image

  5. 模型广场页面,在任意一个模型卡片下,有查看详情API参考立即体验三个功能。其中,API参考功能您可根据页面提示进行API调用。立即体验功能则为上述步骤操作内容,在阿里云百炼控制台中体验调用通义大模型。

    image

模型调试

支持调试模式,透明化查看模型输出结果,支持Prompt模式及Message模式,便于开发者调试模型效果。支持top-p、system、自定义随路参数及自定义停止符等多种自定义模型配置,支持多模型多配置差异化效果对比。

本步骤带您体验模型调试,选择模型,按照实际情况配置参数内容。

  1. 在左侧导航栏中,单击文本模型

    image

  2. 文本对话页签,单击文本调试

    image

  3. 文本调试页签,在模型配置区域中选择模型为通义千问-Max,在system中输入您是一名合格的质检员,在输入区域中选择Prompt,并输入如下内容,单击执行

    请帮我把下面这首诗中存在的错别字标注出来,并给出正确内容。
    
    春眠不觉晓,处处问题鸟。夜来风雨声,花落知多少。

    参数说明:

    • system:系统人设,例如“你是一个AI助手”。

    • top_p:控制核采样方法的概率阈值,取值越大,生成的随机性越高。

    • temperature:控制生成随机性和多样性,范围(0,2)。建议该参数和top_p只设置1个。

    • enable_search:是否参考搜索的结果,默认为false。

    image

    返回类似如下结果。

    image

应用体验

应用体验中心支持导入测试数据,进行在线测试问答效果。默认提供RAG检索增强应用模板进行测试。支持上传PDF、doc/docx格式,上传后可在输入框中输入Prompt后发送,模型返回结果,完成测试。

本次示例主要测试完整的应用体验流程,供您参考。

  1. 下载示例文件

  2. 在页面顶部菜单栏中,单击应用

    image

  3. 左侧导航栏中,单击应用数据

    image

  4. 非结构化数据页签,单击导入数据

    image

  5. 导入数据页面,上传示例文件,其他配置保持默认即可,单击确认

    image

  6. 在左侧导航栏中,单击知识库

    image

  7. 知识库管理页面,单击创建知识库

    image

  8. 知识库信息页面,自定义知识库名称,其他配置保持默认即可,单击下一步

    image

  9. 选择数据页面,勾选选择文件示例文件,单击下一步

    image

  10. 数据处理页面,文档切分chunk选择智能切分,单击导入完成

    image

    返回如下页面,表示知识库创建完成。

    image

  11. 在左侧导航栏中,单击应用管理

    image

  12. 我的应用页面,单击新增应用

    image

  13. 在弹出的对话框中,选择智能体应用,单击立即创建

    image

  14. 在应用创建页面,模型选择通义千问-Max,打开知识库并单击知识库,然后选择您刚刚创建的知识库,在右侧文本对话区域下方的Prompt中,输入您想提问的问题,例如输入投保人、被保险人义务,单击image图标发送,发送后等待模型返回内容。

    image

    返回类似如下结果。

    image

  15. 停止生成:在大模型生成内容的过程中,您可以选择停止生成内容。

    image

  16. 问题反馈:大模型已生成的内容,您可以对内容进行问题反馈,选中类型并输入原因后,单击提交,会有专门的算法同学优化内容效果。

    image

  17. 重新生成:可对生成的内容重新进行生成。

    image

    说明

    每次大模型生成内容下方都会显示本次内容的相关数据:包括字数、输入token、输出token。目前部分模型有提供免费额度供您体验,详情可参见通义千问,获取免费额度内容。

清理资源

  • 在完成实验后,如果无需继续使用资源,请根据以下步骤,先删除阿里云百炼应用,再结束实操。

    • 删除阿里云百炼应用。

      1. 前往应用列表页面,找到您创建的应用,选择更多 > 删除应用

        image

      2. 确定删除该应用对话框中,单击确认删除

        image

    • 删除阿里云百炼应用后,选择不保留资源,单击结束实操。在结束实操对话框中,单击确定

      image

  • 在完成实验后,如果需要继续使用资源,选择付费保留资源,单击结束实操。在结束实操对话框中,单击确定。请随时关注账户扣费情况,避免发生欠费。

    image