文档

设备自动化测试

更新时间:
一键部署

为了帮助您更好地发现设备接入问题,提升产品接入效率,平台为您提供了产品的自动化测试功能。该功能可以全面测试设备端,提高质量管控。您可以免除人工测试的繁琐,快速发现问题,也可以便捷查看可视化测试结果,一目了然。

前提条件

已添加测试设备,并完成设备调试。具体操作,请参见新增测试设备

已选择天猫精灵App作为交互端,详见

背景信息

进行自动化测试时,您还需要注意以下事项:

  • 自动化测试时需确保稳定运行环境,避免断电、断网等情况。
  • 稳定性测试需要长时间运行,请务必确保设备长时间工作的安全性,避免过热等引起的安全问题。
重要 音箱配网成功率测试时,您需要准备一个配网固件,使得设备端收到平台的解绑指令后,自动进入待配网状态。同时,为了保证成功率,测试时请避免受到其他设备广播干扰(如果条件允许,建议在屏蔽箱中运行)。

操作步骤

  1. 登录生活物联网控制台
  2. 进入产品的设备调试页面。
  3. 单击在线调试或设备对应的调试,进入设备调试页面。
  4. 选择自动化测试页签,并单击登录淘宝账号,使用已绑定音箱和测试设备的淘宝账号登录。
    自动化测试
  5. 测试音箱下拉框选择待测试音箱,然后单击选择已绑定设备选择测试设备。
    选择测试设备
  6. 依次完成自动化测试的各个测试项。

    系统会根据判定结果来确定自动化测试结果是否通过。如测试未通过,请根据反馈的测试结果进行修复,或在提交审核时联系审核同学查看问题。若有特殊情况导致测试未通过,请备注信息说明情况,我们会及时联系您确认。前往添加备注信息请查看备注信息

    1. 测试判定规则
      自动化测试执行的结果判定规则如下表所示:
      系统判定结果解释说明测试状态示例
      未完成必测项未全部执行。未通过
      未通过必测项均已执行,但是有一个或一个以上未通过。
      说明 若您的设备有特殊情况导致无法通过,可在产品发布页面单击添加备注填写备注信息,由审核人员根据报告判断是否满足标准。
      未通过
      通过必测项均已执行并通过测试。通过
    2. 测试项目介绍

      自动化测试的界面如下图所示,各测试项目的详细介绍如下表所示。

      自动化测试
      说明
      • 功能完整性测试(物模型测试、语料测试)为必测项。
      • 天猫精灵联合定制的产品,则额外还需完成稳定性测试(音箱配网成功率测试,语音控制成功率测试),若测试失败,则可重测失败项。
      • 请注意您的产品中是否有开关,童锁等会阻塞其他执行的功能在之前的测试中被启动,请先手动关闭这些阻塞的功能,再执行重测失败项。
      测试项测试目的测试用例的生成规则测试通过标准测试报告示例
      物模型测试(必测项)验证产品定义的物模型和全链路功能实现是否一致。

      基于产品定义的物模型中每个属性和服务生成测试用例。特殊说明如下:

      • 枚举、布尔型:依次遍历所有枚举值场景。
      • 整型、浮点、双精度型:验证对应属性的最小、最大、最小+步长等场景。
      说明 测试完成后,如果您修改了物模型,则需重新测试。
      100%物模型测试报告
      语料测试(必测项)验证基于物模型的语料能否执行正确。基于产品所支持的所有语料控制生成测试用例。100%语料测试报告
      音箱配网成功率测试
      说明 当前产品为天猫精灵联合定制品时,该项为必测项。
      测试音箱设备配网成功或失败的次数。平台通过执行20次压测获取设备配网成功率。

      为了提升测试效率,当失败次数超过通过阈值(2次)时,测试项终止,后续测试次数判为失败。

      成功率≥95.0%音箱配网测试报告
      语音控制成功率测试
      说明 当前产品为天猫精灵联合定制品时,该项为必测项。
      测试语音控制设备的成功率数据。平台通过执行1000次压测获取语音控制成功率。

      为了提升测试效率,当失败次数超过通过阈值(3次)时,测试项终止,后续测试次数判为失败。

      成功率≥99.7%语音配网测试报告
  7. (可选)备注信息。

    若您多次执行自动化测试仍未通过,或有特殊原因时,可添加备注说明情况,审核人员根据描述判断是否可跳过测试或会与您联系了解具体情况。

    1. 可在在线调试页面下,单击前往添加备注前往批量生产产品发布页面。前往添加备注信息
    2. 批量生产页面的设备测试步骤下,单击添加备注进行备注信息添加备注
    3. 按照备注信息中的输入框提示填入相关信息,确保信息准确无误后单击确定完成填写。

      备注信息
    说明 自动化测试可以帮助您快速便捷地发现产品问题,保证产品的质量,需要先完成自动化测试再进行产品发布。

    当产品已发布,备注信息不可操作,需撤回发布后再进行备注信息。