(未来自主测试场景,由SD3.5模型生成)
是不是觉得离我们还很远?
以路径模型方式承载页面遍历逻辑,实现百十行测试脚本遍历被测系统所有页面/控件。 通过监听浏览器日志+图像处理,自动监测通用异常如:接口异常(4XX、5XX)、js异常及界面异常 通过图像分割+AI图像识别,自动识别查询场景。 通过控件建模+分词匹配,自动完成查询场景交互与异常识别。
(还可参考:https://bbs.huaweicloud.com/blogs/401149)
今天在大模型时代,是不是更容易实现自主测试?
增强自我学习能力。自主测试需要系统具备持续学习和适应能力。通过引入更先进的强化学习、迁移学习等算法,自主测试系统能够从过去的测试运行中不断学习,识别缺陷模式,并优化测试策略。
实现高级自愈能力。虽然现有的自愈测试自动化已经能够处理界面的小变化,但要实现完全自主测试,系统需要具备处理更大范围变更的能力,而且能够修正测试用例的错误、修复测试脚本的缺陷等。这包括理解应用逻辑变化,并自动调整测试脚本以适应新的功能和架构。
实现综合的数据管理和预测分析能力。自主测试系统不仅能自动采集、整理和管理测试运行的数据,而且需要基于这些数据实现综合的预测分析功能。通过分析历史缺陷数据和实时指标,系统可以预测软件中高风险的区域,并自动调整测试重点,确保覆盖各种风险的区域。 ......
所以还有一段比较长的路要走,目前有些团队连自动化测试还没有做好。anyway,从自动化测试到自主测试,至少还差四步。
这四步,也可以换一个角度来分析,即人们常用的成熟度模型。要达到自主测试,我们可以将智能化测试分为四个水平(层次)。
L1:未达到自主,但AI起到辅助作用。测试人员主导测试的各个环节,AI仅作为辅助工具(助手),赋能一些测试环节,如部分的测试用例生成或少量的测试脚本生成。
L2:多个测试任务自主测试(即某几个测试任务自主完成),例如单元测试代码或某个接口测试脚本自动生成,而且自动执行脚本,有错误自动修复或重新生成,直到没有问题,不需要人干预。一些任务由AI主导,整个测试过程还是由测试人员主导,AI工具成为不可缺少的测试伙伴,AI和测试人员结对完成工作。
L3: 有条件的自主测试,在业务不复杂、系统规模不大或全新的项目等条件下,AI能自主完成全过程的测试。或者某一类测试,如功能测试、或性能测试、或安全性测试,AI能完成全过程自主测试。这时测试人员要做出判断,什么样的条件下,交给AI完成全过程的自主测试。当然,如同定义,测试人员也可以有少量干预,如对最终结果进行检查、分析。这时,AI在某些条件下起着主导作用。
L4: 真正的自主测试,不论业务多复杂,不论哪种测试类型,AI都能完成全过程的自主测试,虽然可以有少量的人工干预,如对最后结果进行检查和分析,或中间偶尔出错后AI不能自动修复,重启测试过程等。这时AI起着主导作用、测试人员起着辅助作用。
国内有些团队在去年或今年已经达到L2自主测试水平,国外也有些测试工具可以完成L2水平的自主测试。在未来2-3年内,有些优秀团队(或AI测试平台)可以达到L3水平。L4是摆在我们面前的巨大挑战,需要等到AGI到来之时。