多模态旅游规划智能体

更新时间:
复制为 MD 格式

本实验旨在构建一个集“视觉感知”、“地理服务”与“艺术创作”于一体的全能型旅游主理人。

实验简介

本实验旨在构建一个集“视觉感知”、“地理服务”与“艺术创作”于一体的全能型旅游主理人。不同于传统的问答机器人,该智能体通过集成 MCP (Model Context Protocol) 协议,连接了高德地图的真实地理数据,解决了大模型在路线规划时常出现的“幻觉”问题;同时结合通义万相的文生图能力与多模态感知,实现“拍照识景”与“生成纪念明信片”的视觉闭环。这是一个真正打通了物理世界(地图/照片)与数字创意(画作)的 AI 应用。

背景知识

  1. MCP (Model Context Protocol):一种标准化的模型上下文协议,用于让大模型连接外部数据源。本实验通过 MCP 接入高德地图,赋予了模型获取真实 POI(兴趣点)、距离和路线数据的能力。

  2. 多模态感知 (Multimodal Perception):利用通义千问 VL 模型强大的视觉理解能力,实现“看图说话”,能够识别用户上传的地标建筑、菜单文字及路况信息。

  3. AIGC 视觉创作:通过调用绘画工具(文生图插件),将用户抽象的旅行感悟转化为具象的艺术图像,提升交互的情绪价值。

实验室资源方式简介

进入实操前,请确保阿里云账号满足以下条件:

  • 个人账号资源

    • 使用您个人的云资源进行操作,资源归属于个人。

    • 所有实验操作将保留至您的账号,请谨慎操作。

    • 平台仅提供手册参考,不会对资源做任何操作。

  • 确保已完成云工开物300元代金券领取。

  • 已通过实名认证且账户余额≥0元。

  • 本实验费用以实际使用的token量为准,以qwen-Plus为例,输入 0.0008元/千tokens,输出0.002元/千tokens。

  • 本实验产生的费用优先使用优惠券。如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。

  • 实操结束后,如通过云工开物代金券购买的产品,无需进行注销;如注销产品,代金券不会返还。

  • 新注册阿里云百炼的用户,千问系列模型提供模型的免费额度,不同模型的免费额度不同,请在使用前,先阅读产品文档确认模型的免费额度,或在使用前,登录阿里云百炼-模型广场-模型卡片详情,查看具体模型的免费额度。注意在使用过程中的token消耗。模型列表 只有开通阿里云百炼服务后才能体验模型的免费额度。

领取专属权益及开通资源

第一步:在开始实验之前,请先点击屏幕的“开始实操”再进行后续操作

image

第二步:本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源,如未领取请先点击领取。(若已领取请跳过)

image

重要

实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。

学生认证

实验步骤

说明

本实验的所有操作均在阿里云百炼平台控制台中完成,无需安装任何本地软件或编写代码。

  • 1、获取 API-KEY

    • 点击进入阿里云百炼控制台

      • 进入【应用】—【应用管理】,点击【立即登录】

        image

      • 若之前未登录开通过阿里云百炼请按以下步骤操作,若已开通过阿里云百炼服务请跳过此步

        • 阅读服务协议并点击【同意】

          image

    • 在左侧导航栏找到【密钥管理】,点击【创建 API-KEY】,并妥善保存生成的 API-KEY。此密钥是后续 API 调用的身份凭证。

      image

    • 勾选归属账号、选择归属业务空间,点击【确定】

      image

      创建成功

      image

  • 2、创建应用与基础模型配置

    • 点击【应用】——【应用管理】——【创建应用】

      image

    • 选择【智能体应用】-【Agent 1.0】-【应用名称】-【立即创建】

      应用名称:修改为“视觉旅游主理人”

      image

    • 模型选择:推荐 QwenVL-Max-Latest模型(性价比高,响应速度快,足以胜任旅游攻略与创作任务),下拉列表没有的话,点击【更多模型】进行搜索

      image

      image

  • 3、提示词

    然后我们需要设计一个专业的系统提示词,以定义智能体的角色和行为规范,并引导其使用知识库。

    示例提示词:

    你是一名集“视觉感知”、“地理服务”与“艺术创作”于一体的资深全能旅游主理人。你的核心任务是利用多模态能力和外部工具,为用户提供沉浸式的旅游服务。
    请严格遵守以下行为准则:
    1. **【视觉向导】(针对用户发图):**
       - 当用户上传图片时,利用你的视觉模型能力,精准识别图片中的景点名称、建筑风格或食物种类。
       - 识别后,结合背景知识提供一段生动的文化解说(如历史典故、最佳拍摄点)。
    2. **【地理专家】(必须调用高德地图MCP):**
       - 当用户询问具体的地点位置、周边设施(如“附近有什么好吃的”)或查询路线时,**必须调用高德地图 (Amap) 工具**获取真实的POI(兴趣点)数据。
       - 禁止凭空编造地址或距离,必须以地图工具返回的数据为准。
    3. **【灵魂画师】(必须调用通义万相MCP):**
       - 当用户表达想要“看一眼xxx的样子”、“生成一张明信片”或“把这段经历画下来”时,**必须调用通义万相 (Wanxiang) 文生图工具**。
       - 根据用户的描述或当前的旅游场景,生成一张高质量的艺术图片。
    4. **【贴心管家】(记忆与规划):**
       - 记住用户的饮食禁忌和出行偏好(如“不吃辣”、“喜欢徒步”),在后续推荐中予以规避或侧重。
       - 回复风格要热情、专业,适当使用Emoji增加亲和力。

    输入提示词后,点击右上角的【优化】,平台将基于当前输入提供更专业的系统提示词建议,以进一步完善智能体的角色定义、行为规范和知识库使用引导

    image

  • 4、 集成多模态MCP能力

    • 这是本案例的核心亮点,增加互动趣味性,让旅游不仅是规划,更是体验。

      要开始集成,首先在智能体应用配置页面,在左侧导航栏的【技能】选项卡,然后在页面中找到【MCP 服务】模块。点击该模块右侧的【+】按钮,系统将弹出【选择 MCP 服务】窗口,展示所有可用的工具列表。

      image

    • 点击【未开通】,搜索并添加 “万相-文生图”(或类似的绘画类插件)和集成高德地图 MCP Server(核心工具)

      image

      点击【确认开通】

      image

    • 点击【添加全部】

      image

    • 添加成功

      image

  • 5、启用多模态和联网搜索能力

    • 启用多模态输入:在应用设置中,确保“文件处理”模块支持图片上传和解析。对于 Qwen-VL 模型,平台会自动处理图片输入,将其转化为模型可理解的视觉特征。

    • 启用联网搜索:打开“联网搜索”功能开关。这使得智能体可以获取最新的景点开放时间、门票价格、当地活动等信息,增强规划的时效性。

    • 长期记忆功能:在配置页面的“记忆”选项中,开启“长期记忆”

    image

    image

  • 6、测试应用

    设计思路:这部分需要演示出“视、查、画”三个维度的闭环。测试步骤设计得更像一个真实的旅游故事,方便您截图展示。

    • 验证步骤 1:测试“视觉感知”与“地图服务”联动

      目的:验证模型能否看懂图片,并调用高德地图MCP查位置。

      用户输入(操作):

      1.点击输入框的图片上传按钮,上传一张著名景点照片(例如:东方明珠或故宫的照片)。

      2.发送文字:“这是哪里?帮我查一下它附近的评分最高的餐厅,我想去吃晚饭。”

      image.png

    • 验证步骤 2:测试“艺术创作” (文生图MCP)

      目的:验证是否能根据对话语境生成图片。

      用户输入:“听起来不错。想象一下,如果我在东方明珠塔顶看未来的赛博朋克风格的上海夜景,会是什么样?请帮我画一张这种风格的明信片,我要发朋友圈。”

      image.png

    • 验证步骤 3:测试“记忆功能”

      目的:验证智能体是否记住了上下文。

      用户输入: “对了,记得我之前说过我不吃辣吗?刚才推荐的餐厅里有没有适合我的?”

      image.png

  • 7、实验资源释放

    重要

    注意:为了避免不必要的资源占用和潜在的费用产生,实验结束后请务必按照以下步骤清理在阿里云百炼平台和钉钉开放平台创建的资源

    1. 实验结束后,阿里云百炼账号无需注销

    2. 在阿里云百炼,模型训练部署等需要付费,请谨慎操作。模型体验、构建应用等需要消耗Token,在测试前请先确认是否有免费额度。

    • 删除智能体应用

      登录阿里云百炼控制台,进入应用管理页面。找到创建的智能体应用,点击应用名称进入详情页。在应用配置页面,找到删除应用的选项并确认删除。此操作将释放与该应用关联的模型配置、MCP服务集成以及知识库关联。

      image

    • 删除 API-KEY

      在百炼控制台左侧导航栏,进入密钥管理页面。找到在实验中创建和使用的 API-KEY,点击删除按钮并确认。

      image

背景知识

本场景主要涉及产品:阿里云百炼

在本实验中,需要注意您当前账号中是否有免费额度,若无免费额度或免费额度已过期,本次实验会消耗token,可能产生费用。

模型token费用:请查看模型列表:模型列表

如何查看模型免费额度:登录阿里云百炼,在【模型】—【模型广场】—【全部模型】对应模型卡片查看详情,查看模型的免费额度,也可以关注系统管理-系统工具中的调用统计。

image

image

关闭实验

  • 完成实验后,点击 结束实操

    image

  • 点击 取消 回到实验页面,点击 确定 退出实验界面,关闭页面结束实验

    image

    说明

    阿里云百炼账号无需注销