通过云原生API网关搭建聊天机器人

场景简介

本次实验任务是在云上使用云原生API网关创建AI API，基于该AI API设置多模型服务代理，搭建完成一个聊天机器人。

背景知识

本场景主要涉及以下云产品和服务：

• 云原生API网关

• NAT网关

• 大模型服务平台百炼

• 弹性公网IP

• 专有网络VPC

前提条件

本实验需要您使用阿里云账号开通本次实操资源，资源按量付费，需要您自行承担本次实操的云资源费用。

进入实操前，请确保阿里云账号满足以下条件：

• 已通过实名认证并且账户余额充足。

• 云资源产生的费用需您自行承担，云起实验室不会向您征收额外费用。

• 所有实验操作将保留至您的账号，请谨慎操作。

• 实操结束后，您可以选择继续付费保留资源，或参考手册自动/手动释放资源。

创建专有网络VPC和交换机

1. 在实验室页面右侧的操作区中，勾选我已阅读并同意《阿里云云起实践平台服务协议》，单击开始实操。

   

2. 登录专有网络管理控制台。

3. 在左侧导航栏中，单击专有网络。

   

4. 在专有网络页⾯，切换⾄华东1（杭州）地域，单击创建专有网络。

   

5. 在创建专有网络页⾯，根据下方说明配置专有网络（VPC）和交换机的参数，未提交的参数保持默认即可，然后单击确定。

   说明

   可用区需要选择包含NAT网关的可用区。

   	配置项	说明
   专有网络	地域	选择华东1（杭州）。
   	名称	自定义名称。
   	IPv4网段	选择手动输入IPv4地址段。
   	输入IPv4网段	输入192.168.0.0/16。
   	IPv6网段	选择不分配。
   交换机	名称	自定义名称。
   	可用区	选择杭州可用区H。
   	IPv4网段	设置为192.168.0.0/24。

   

   

6. 在创建专有网络页面，您可查看到创建的专有网络VPC和交换机的ID、实例名称等信息。

   

创建公网NAT网关

1. 领取公网NAT网关免费试用。

   重要

   • 如果您的阿里云账号有领取公网NAT网关免费试用资格，请您根据下方操作进行领取。免费试用额度有效期3个月，包括每月750个小时公网NAT网关实例使用时间，每月15个CU用于公网NAT网关，每月750个小时EIP实例使用时间。超出权益额度部分将自动按量付费计费。收费标准请参见公网NAT网关计费。

   • 如果您的阿里云账号已领取过或没有公网NAT网关免费试用资格，请您跳过此步骤，直接创建NAT实例，并会产生一定的费用，详情请参见公网NAT网关计费。

   1. 前往免费试用公网NAT网关。

   2. 在免费试用中心页面，单击公网NAT网关卡片中的立即试用。

      

   3. 在公网NAT网关面板，单击立即试用。

      

2. 创建公网NAT网关。

   1. 登录公网NAT网关。

   2. 在公网NAT网关页面，单击创建公网NAT网关。

      

   3. 在创建公网NAT网关页⾯，根据下方说明配置参数，未提交的参数保持默认即可，然后单击确定。

      配置项	说明
      所属地域	选择华东1（杭州）。
      所属专有网络	选择上一小节创建的专有网络。
      关联交换机	选择上一小节创建的交换机。
      实例名称	自定义名称。
      访问模式	选择专有网络全通模式（SNAT）。
      弹性公网IP	选择新购弹性公网IP。
      流量	选择按使用流量计费。

      

      

   4. 在确认订单页面，确认信息无误后，单击立即开通。

      

      返回如下页面，表示NAT网关实例创建成功。

      

申请通义千问模型API-KEY

1. 前往阿里云百炼控制台，如果页面顶部显示以下消息，您需要开通阿里云百炼的模型服务，以获得免费额度。如果未显示该消息，则表示您已经开通，请跳过此步骤。

   

2. 前往API-KEY页面，单击创建我的API-KEY。

   

3. 在创建新的API-KEY对话框中，归属业务空间选择主账号空间，单击确定。

   

4. 在我的API-KEY页面，单击目标API-KEY右侧操作列下的查看，您即可看到API-KEY的明文信息，在后续步骤需要使用到API-KEY。

   说明

   API-KEY请注意保存，不要存放在公开环境中。

   

创建云原生API网关

1. 领取免费试用云原生API网关。

   重要

   • 如果您的阿里云账号有领取云原生API网关免费试用资格，请您根据下方操作进行领取。免费试用额度700元，可用于抵扣网关实例规格、公网/私网数据处理量费用。超出权益额度部分将自动按量付费计费。收费标准请参见计费概述。

   • 如果您的阿里云账号已领取过或没有云原生API网关免费试用资格，请您跳过此步骤，直接创建云原生API网关，并会产生一定的费用，详情请参见计费概述。

   1. 前往免费试用云原生API网关。

   2. 在免费试用中心页面，单击云原生API网关卡片中的立即试用。

      

   3. 在云原生API网关面板，根据下方说明配置参数，未提及的参数保持默认即可，单击立即试用。

      配置项	说明
      地域	选择华东1（杭州）。
      网关名称	自定义名称。
      网关规格	apigw.small.x1
      网络访问类型	选择公网。
      专有网络	选择之前创建的专有网络。
      可用区选择	选择自动分配。
      交换机	选择之前创建的交换机。
      日志服务	勾选使用日志服务（SLS）。
      服务关联角色	确认所有服务角色均已授权，若有未授权的，请根据页面提示进行授权。

      

      

   4. 免费试用申请完成，前往云原生API网关实例页面，当刚刚创建的网关实例的运行状态变为运行中时，表明网关实例创建完成。

      

2. （可选）创建云原生API网关。

   重要

   如果您已根据上一步领取免费试用云原生API网关实例，请跳过此步骤，无需重复创建云原生API网关实例。

   1. 登录云原生API网关控制台。如果您是首次使用云原生API网关，您需要进行如下操作：

   2. 在左侧导航栏中，单击实例。

      

   3. 在实例页面，单击创建实例。

      

   4. 在创建云原生API网关页⾯，根据下方说明配置参数，未提交的参数保持默认即可，然后单击确定。

      配置项	说明
      商品类型	选择按量付费。
      地域	选择华东1（杭州）。
      网关名称	自定义名称。
      网关规格	apigw.small.x1
      网络访问类型	公网
      专有网络	选择之前创建的专有网络。
      可用区选择	自动分配
      交换机	选择之前创建的交换机。
      日志服务	打开。
      服务关联角色	确认所有服务角色均匀授权，若有未授权的，请根据页面提示进行授权。

      

      

创建多模型代理AI API

云原生API网关中的AI API适用于面向人工智能应用开发的团队，提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。

1. 在云原生网关控制台的左侧导航栏中，单击API。

   

2. 在API页面，单击AI API卡片上的创建。

   说明

   如果您的云原生API网关当前已经存在其他API，请先单击AI API选项后，再单击创建AI API。

   

3. 在创建AI API面板，自定义API名称，所属实例选择之前创建的云原生API网关实例，开启AI请求观测，服务模型选择多模型服务（按模型名称），在服务列表的服务名称下拉框中，单击创建服务。

   

4. 在创建服务面板，服务来源选择AI服务，自定义服务名称，大模型供应商选择阿里云百炼，API-KEY中输入从阿里云百炼控制台中获取的API-KEY，单击确定。

   

5. 在创建AI API面板的服务列表中，服务名称选择刚刚创建的服务，模型名称匹配规则选择qwen-*，单击确定。

   

6. （可选）如果您有其他三方模型服务的API-KEY，也可以再创建一个新的服务，体验更完整的多模型代理功能。

   重要

   第三方模型的API-KEY需要去对应的大模型厂商页面申请。

   1. 以Kimi为例。在API控制台，单击刚刚创建的API右侧的编辑。

      

   2. 在服务列表的服务名称下拉框中，单击创建服务。

      

   3. 在创建服务面板，服务来源选择AI服务，自定义服务名称，大模型供应商选择阿里云百炼，API-KEY中输入从阿里云百炼控制台中获取的API-KEY，单击确定。

      

   4. 在创建AI API面板的服务列表中，服务名称选择刚刚创建kimi-test的服务，模型名称匹配规则选择moonshot-*，单击确定。

      

7. 在API控制台页面，单击API名称。在API详情页签，单击统计。

   

   

8. 在统计页签，根据页面提示开通日志服务SLS和网关日志投递功能，其中在开启网关日志投递功能时日志服务Project选择使用默认。

   说明

   如果您之前开通过阿里云日志服务SLS，请您忽略此步骤操作。

   

9. 在统计页签，您可以检测到API的相关信息。

   

调试对话聊天机器人

本步骤指导您如何和AI网关的聊天机器人进行对话。

1. 在统计页签，单击右上角的调试。

   

2. 在调试面板，将对话内容填写在输入框中，单击发送，即可调用。

   对话内容示例：

   你好，你是谁？

   

3. 调用大模型后，如图所示大模型进行回答。

   说明

   如果调试时返回错误，可以按照下面的思路排查：

   1. 公网NAT网关是否创建并绑定到了正确的VPC网络；

   2. 弹性公网IP是否购买；

   3. API-KEY是否有效。

   

4. （可选）和kimi服务进行对话。

   1. 在调试面板，将模型选择输入框中的qwen-max模型清除后，选择moonshot-v1-8k模型。

      

   2. 在调试面板，将对话内容填写在输入框中，单击发送，即可调用。

      对话内容示例：

      你好，你是谁？

      

5. 回到AI API界面，在统计界面中，可以对AI网关收到的请求进行观测。

   

   观测指标包含QPS、RT、每个模型Token的消耗数等。除此以外，AI网关也支持缓存、消费者、风险、限流等相关观测，感兴趣的用户可以进一步体验。

   

清理资源

• 在完成实验后，如果无需继续使用资源，请根据以下步骤，先删除相关资源后，再结束实操，否则资源会持续运行产生费用。

  • 删除云原生API网关实例和AI API 。

    1. 登录云原生API网关控制台。

    2. 在左侧导航栏中，单击实例。

       

    3. 在实例页面顶部菜单栏中，地域切换至华东1（杭州），然后找到目标实例，选择其右侧操作列下的更多 > 释放实例。

       

    4. 在释放网关实例对话框中，输入网关实例名称，单击确定。

       

    5. 在左侧导航栏中，单击API。

       

    6. 在全部API页签，找到目标API，单击右侧操作列下的删除。

       

    7. 在弹出的对话框中，输入API名称，单击删除。

       

  • 删除阿里云百炼API-KEY。

    1. 前往API-KEY页面，单击目标API-KEY右侧操作列下的删除。

       

    2. 在删除提示对话框中，单击确认除。

       

  • 删除公网NAT和弹性公网IP。

    1. 登录公网NAT网关。

    2. 在公网NAT网关页面顶部菜单栏中，地域切换至华东1（杭州），找到目标NAT网关实例，选择其右侧操作列下的图标 > 删除。

       

    3. 在删除网关对话框中，勾选强制删除（删除NAT网关及其包含资源），单击确定。

       

    4. 在左侧导航栏中，选择公网访问 > 弹性公网IP

       

    5. 在弹性公网IP页面，找到目标弹性公网IP实例，选择其右侧操作列下的图标 > 释放。

       

    6. 在释放弹性公网IP对话框中，单击确定。

       

  • 删除VPC及交换机。

    1. 登录专有网络。

    2. 在专有网络页面顶部菜单栏中，地域切换至华东1（杭州）找到目标VPC，单击其右侧操作列下的删除。

       

    3. 在删除专有网络对话框中，勾选强制删除，单击确定。

       

  • 删除相关资源后，单击结束实操。在结束实操对话框中，单击确定。

    

• 在完成实验后，如果需要继续使用资源，您可跳过释放相关资源的操作，直接单击结束实操。在结束实操对话框中，单击确定。请随时关注账户扣费情况，避免发生欠费。