术语解释

术语

说明

兼容测试

用于验证应用在不同设备上进行安装/启动/登录/不同版本覆盖安装/卸载等操作时,是否存在兼容性问题;同时获取应用在运行过程中的运行日志/错误信息/性能数据,并在测试完成后,提供兼容测试报告,并以截图/视频的形式,展示应用的运行过程。

功能测试

用于验证应用在不同设备上执行测试用例时,是否能够实现预期功能;同时获取应用在运行过程中的运行日志/错误信息/性能数据,并在测试完成后,提供功能测试报告,并以截图/视频的形式,展示应用的运行过程。

性能测试

用于验证应用在不同设备上运行时的基本性能数据,包括但不限于启动时间/CPU占用率/内存占用/网络耗用等,并在测试完成后,提供性能测试报告。

性能分析

用于监测应用在运行过程中的基本性能,包括但不限于启动时间/CPU占用率/内存占用/网络耗用等。

智能探索

在兼容测试中,使用阿里集团基于机器学习开发的智能AI程序Ripper,使应用的兼容问题探索具备自主决策能力,极大提高测试效率。

应用/App

用于进行兼容/功能/性能测试或远程调试的Android/iOS应用。

任务

每提交一次Android/iOS兼容/功能测试,即创建一个测试任务。

用例库

用于基于版本对测试用例进行隔离管理。用例库版本建议与应用的研发版本相对应。

模块

用于结合应用的业务功能,对用例集做进一步组织。例如,首页/我的/订单等。

用例集

是最小可执行的测试单元。用例集由1个或多个用例组成,同时选择相应的参数匹配不同环境。

参数分组

具有相关性的一组参数的集合。

参数

指配合脚本使用的传入参数。

脚本

指测试用例的执行脚本,包括录制脚本和上传脚本2种类型。

录制脚本

通过在线录制功能生成的测试脚本。

上传脚本

用户编写的测试脚本。

自定义步骤

指基于Appium引擎与Python语言编写脚本,在录制脚本中,添加非常规操作。

测试状态

指兼容/功能/性能测试的执行状态,包括等待中/运行中/已完成/已取消

执行结果

指兼容/功能/性能测试的执行结果,包括通过/未通过/异常/未执行

错误类型

指兼容/功能/性能测试执行过程中,产生错误的类型,包括崩溃/卡死/可忽略异常

CPU占用率

指应用在测试过程中,对CPU资源的占用比率。

内存占用

指应用在测试过程中,对内存资源的占用量。

网络耗用

指应用在测试过程中,对网络资源的使用量。

帧率/FPS

即每秒传输帧数(Frames per Second),用于测量显示帧数。每秒钟帧数越多,所显示的动作就会越流畅。

丢帧率

指由于硬件不足以负荷画面刷新的频率导致丢帧的情况,占显示的比率。

电量耗用

指应用在测试过程中,对设备电量的使用量。

脚本日志

由Python语言输出的错误日志。

Appium日志

由Appium引擎输出的错误日志。

设备日志

由测试设备输出的错误日志。

错误级别

指将日志中的错误按照级别进行划分,包括Verbose(详细信息)/Error(错误信息)/Warn(警告信息)/Info(一般信息)/Debug(调试信息)。

卡死

指由于软件存在设计缺陷,或内存空间不足导致死机。

崩溃/Crash

应用在运行过程中,出现异常退出。

可忽略异常

指由日志捕获,且非卡死/崩溃的其他异常。

ANR

即程序无响应(Application Not Responding)。如应用对用户输入事件(如按键输入、触摸屏输入、手势输入等)未在5秒内作出响应,或BroadReceiver未在10秒内结束接收到任务,则系统弹出ANR对话框,用户可选择等待让程序继续运行,或选择强制关闭。在UI线程中执行数据库、IO、网络等耗时操作,可能引发ANR。

卡顿/Jank

由于硬件限制或者软件设计缺陷,造成应用在使用过程中,出现画面滞帧的情况。

趋势图

指以时间为横轴,观察变量为纵轴,用于反映时间与数量之间的关系,观察变量变化发展的趋势及偏差的统计图。

分布统计图

指在统计分组的基础上,将总体中的所有单位按组归类整理,形成总体单位在各组间的分布。