术语 | 说明 |
兼容测试 | 用于验证应用在不同设备上进行安装/启动/登录/不同版本覆盖安装/卸载等操作时,是否存在兼容性问题;同时获取应用在运行过程中的运行日志/错误信息/性能数据,并在测试完成后,提供兼容测试报告,并以截图/视频的形式,展示应用的运行过程。 |
功能测试 | 用于验证应用在不同设备上执行测试用例时,是否能够实现预期功能;同时获取应用在运行过程中的运行日志/错误信息/性能数据,并在测试完成后,提供功能测试报告,并以截图/视频的形式,展示应用的运行过程。 |
性能测试 | 用于验证应用在不同设备上运行时的基本性能数据,包括但不限于启动时间/CPU占用率/内存占用/网络耗用等,并在测试完成后,提供性能测试报告。 |
性能分析 | 用于监测应用在运行过程中的基本性能,包括但不限于启动时间/CPU占用率/内存占用/网络耗用等。 |
智能探索 | 在兼容测试中,使用阿里集团基于机器学习开发的智能AI程序Ripper,使应用的兼容问题探索具备自主决策能力,极大提高测试效率。 |
应用/App | 用于进行兼容/功能/性能测试或远程调试的Android/iOS应用。 |
任务 | 每提交一次Android/iOS兼容/功能测试,即创建一个测试任务。 |
用例库 | 用于基于版本对测试用例进行隔离管理。用例库版本建议与应用的研发版本相对应。 |
模块 | 用于结合应用的业务功能,对用例集做进一步组织。例如,首页/我的/订单等。 |
用例集 | 是最小可执行的测试单元。用例集由1个或多个用例组成,同时选择相应的参数匹配不同环境。 |
参数分组 | 具有相关性的一组参数的集合。 |
参数 | 指配合脚本使用的传入参数。 |
脚本 | 指测试用例的执行脚本,包括录制脚本和上传脚本2种类型。 |
录制脚本 | 通过在线录制功能生成的测试脚本。 |
上传脚本 | 用户编写的测试脚本。 |
自定义步骤 | 指基于Appium引擎与Python语言编写脚本,在录制脚本中,添加非常规操作。 |
测试状态 | 指兼容/功能/性能测试的执行状态,包括等待中/运行中/已完成/已取消。 |
执行结果 | 指兼容/功能/性能测试的执行结果,包括通过/未通过/异常/未执行。 |
错误类型 | 指兼容/功能/性能测试执行过程中,产生错误的类型,包括崩溃/卡死/可忽略异常。 |
CPU占用率 | 指应用在测试过程中,对CPU资源的占用比率。 |
内存占用 | 指应用在测试过程中,对内存资源的占用量。 |
网络耗用 | 指应用在测试过程中,对网络资源的使用量。 |
帧率/FPS | 即每秒传输帧数(Frames per Second),用于测量显示帧数。每秒钟帧数越多,所显示的动作就会越流畅。 |
丢帧率 | 指由于硬件不足以负荷画面刷新的频率导致丢帧的情况,占显示的比率。 |
电量耗用 | 指应用在测试过程中,对设备电量的使用量。 |
脚本日志 | 由Python语言输出的错误日志。 |
Appium日志 | 由Appium引擎输出的错误日志。 |
设备日志 | 由测试设备输出的错误日志。 |
错误级别 | 指将日志中的错误按照级别进行划分,包括Verbose(详细信息)/Error(错误信息)/Warn(警告信息)/Info(一般信息)/Debug(调试信息)。 |
卡死 | 指由于软件存在设计缺陷,或内存空间不足导致死机。 |
崩溃/Crash | 应用在运行过程中,出现异常退出。 |
可忽略异常 | 指由日志捕获,且非卡死/崩溃的其他异常。 |
ANR | 即程序无响应(Application Not Responding)。如应用对用户输入事件(如按键输入、触摸屏输入、手势输入等)未在5秒内作出响应,或BroadReceiver未在10秒内结束接收到任务,则系统弹出ANR对话框,用户可选择等待让程序继续运行,或选择强制关闭。在UI线程中执行数据库、IO、网络等耗时操作,可能引发ANR。 |
卡顿/Jank | 由于硬件限制或者软件设计缺陷,造成应用在使用过程中,出现画面滞帧的情况。 |
趋势图 | 指以时间为横轴,观察变量为纵轴,用于反映时间与数量之间的关系,观察变量变化发展的趋势及偏差的统计图。 |
分布统计图 | 指在统计分组的基础上,将总体中的所有单位按组归类整理,形成总体单位在各组间的分布。 |