为了帮助您更好地发现设备接入问题,提升产品接入效率,生活物联网平台为您提供了产品的自动化测试功能。该功能可以全面测试设备端,提高质量管控。您可以免除人工测试的繁琐,快速发现问题,也可以便捷查看可视化测试结果,一目了然。目前仅天猫精灵项目下产品可使用该能力。
前提条件
背景信息
进行自动化测试时,您还需要注意以下事项:
- 自动化测试时需确保稳定运行环境,避免断电、断网等情况。
- 稳定性测试需要长时间运行,请务必确保设备长时间工作的安全性,避免过热等引起的安全问题。
重要 音箱配网成功率测试时,您需要准备一个配网固件,使得设备端收到平台的解绑指令后,自动进入待配网状态。同时,为了保证成功率,测试时请避免受到其他设备广播干扰(如果条件允许,建议在屏蔽箱中运行)。
操作步骤
- 登录生活物联网控制台。
- 进入产品的设备调试页面。
- 单击在线调试或设备对应的调试,进入设备调试页面。
- 选择自动化测试页签,并单击登录淘宝账号,使用已绑定音箱和测试设备的淘宝账号登录。
- 在测试音箱下拉框选择待测试音箱,然后单击选择已绑定设备选择测试设备。
- 依次完成自动化测试的各个测试项。
系统会根据判定结果来确定自动化测试结果是否通过。如测试未通过,请根据反馈的测试结果进行修复,或在提交审核时联系审核同学查看问题。若有特殊情况导致测试未通过,请备注信息说明情况,我们会及时联系您确认。前往添加备注信息请查看备注信息。
- 测试判定规则
自动化测试执行的结果判定规则如下表所示:
系统判定结果 解释说明 测试状态示例 未完成 必测项未全部执行。 未通过 必测项均已执行,但是有一个或一个以上未通过。 说明 若您的设备有特殊情况导致无法通过,可在产品发布页面单击添加备注填写备注信息,由审核人员根据报告判断是否满足标准。通过 必测项均已执行并通过测试。 - 测试项目介绍
自动化测试的界面如下图所示,各测试项目的详细介绍如下表所示。
说明- 功能完整性测试(物模型测试、语料测试)为必测项目。
- 天猫精灵联合定制的产品,则额外还需完成稳定性测试(音箱配网成功率测试,语音控制成功率测试),若测试失败,则可重测失败项。
- 请注意您的产品中是否有开关,童锁等会阻塞其他执行的功能在之前的测试中被启动,请先手动关闭这些阻塞的功能,再执行重测失败项。
测试项 测试目的 测试用例的生成规则 测试通过标准 测试报告示例 物模型测试(必测项) 验证产品定义的物模型和全链路功能实现是否一致。 基于产品定义的物模型中每个属性和服务生成测试用例。特殊说明如下:
- 枚举、布尔型:依次遍历所有枚举值场景。
- 整型、浮点、双精度型:验证对应属性的最小、最大、最小+步长等场景。
说明 测试完成后,如果您修改了物模型,则需重新测试。100% 语料测试(必测项) 验证基于物模型的语料能否执行正确。 基于产品所支持的所有语料控制生成测试用例。 100% 音箱配网成功率测试 说明 当前产品为天猫精灵联合定制品时,该项为必测项。测试音箱设备配网成功或失败的次数。 平台通过执行20次压测获取设备配网成功率。 为了提升测试效率,当失败次数超过通过阈值(2次)时,测试项终止,后续测试次数判为失败。
成功率≥95.0% 语音控制成功率测试 说明 当前产品为天猫精灵联合定制品时,该项为必测项。测试语音控制设备的成功率数据。 平台通过执行1000次压测获取语音控制成功率。 为了提升测试效率,当失败次数超过通过阈值(3次)时,测试项终止,后续测试次数判为失败。
成功率≥99.7%
- 测试判定规则
- (可选)备注信息。
若您多次执行自动化测试仍未通过,或有特殊原因时,可添加备注说明情况,审核人员根据描述判断是否可跳过测试或会与您联系了解具体情况。
- 可在在线调试页面下,单击前往添加备注前往批量生产产品发布页面。
- 在批量生产页面的设备测试步骤下,单击添加备注进行备注信息。
-
按照备注信息中的输入框提示填入相关信息,确保信息准确无误后单击确定完成填写。
说明 自动化测试可以帮助您快速便捷地发现产品问题,保证产品的质量,需要先完成自动化测试再进行产品发布。当产品已发布,备注信息不可操作,需撤回发布后再进行备注信息。