作者|沙丘智库研究团队
来源|沙丘社区(www.shaqiu.cn)
随着软件系统的复杂性不断增加,软件测试的重要性越来越高,测试活动将影响开发人员的工作效率,产品的可靠性、稳定性和合规性,以及最终产品的运营效率。
在大模型出现之前,软件测试领域一直在探索“智能测试”,例如精准测试、通过各种传统算法生成用例、UI自动化测试等。大模型出现后,智能测试层次不断提升,真正进入了“智能测试”新时代。
将大模型用于测试领域可以提供更高的测试覆盖率,减少不稳定的测试并加快缺陷修复过程。这有助于提高测试质量和效率,加快缺陷修复,并确保遵守企业内外部的软件开发标准。
从测试全流程耗时来看,测试设计通常是耗时最高的环节之一,也是质效提升的关键切入点,向左可以连接到需求、向右可以连接到缺陷。以测试设计作为大模型在智能测试领域的切入场景,具备足够的价值性和扩展性。
根据沙丘智库发布的《2024中国企业IT部门大模型应用场景评估报告》,测试用例和数据生成是当前对企业IT部门来说可以进行战略选择的大模型应用场景之一,具有较高的业务价值和技术可行性。
大模型能够生成测试用例(用于正向测试和负向测试的手动测试和自动化测试脚本)和测试数据(用于填充应用程序数据库或驱动动态测试用例的执行),测试完成后,大模型可以将测试结果总结成执行报告,并对发现的缺陷进行分析,提高软件测试团队的工作效率,最大限度地减少人工操作,并提高代码质量。
沙丘社区通过研究腾讯、字节跳动、优酷、360集团、科大讯飞等5家企业测试设计环节的大模型应用实践,旨在为其他企业提供参考。
▎案例1:腾讯测试用例生成场景大模型实践
当前互联网产品对迭代速度的要求越来越高,腾讯大部分产品以单周/双周的速度进行迭代,快速的版本节奏对测试用例编写效率和用例质量带来极大挑战。
腾讯基于大模型能力,将测试用例作为大模型在质效提升领域的切入点,开发Case Copilot,提升测试用例质量及编写效率,不断拓展能力边界,帮助业务解决质效问题,推进业务质量内建,提升研发效率和产品质量。
完整内容:腾讯测试用例生成场景大模型实践
▎案例2:字节跳动测试设计生成场景大模型实践
围绕测试设计生成场景,字节跳动利用大模型构建三大能力:
· 风险识别能力:通过需求内容分析,扫描风险点,例如资金安全、稳定性、隐私合规风险等,然后利用需求内容结合质量画像和代码画像进行缺陷预测,最终结合风险内容和缺陷预测情况判断需求保障分级;
· 风险应对能力:通过风险应对策略推荐引擎,提供相似风险需求检索、防控手段检索推荐、checklist追踪等功能;
· 测试设计能力:一方面是完整用例生成,根据需求生成需求用例,然后判断是否涉及兼容性、实验用例等,生成对应部分用例;另一方面是优化补全,针对已生成的用例进行二次优化。
▎案例3:优酷基于大模型的测试用例生成实践
优酷从测试用例生成场景切入,探索大模型在质量保障工作中的应用。通过向量化、图谱存储、混合检索方案等技术,以及模型的预训练、微调和强化学习,优酷实现了与原有工作流程的无缝衔接,提升了测试用例生成的效率和质量。
360集团通过大模型在多个测试场景中实现自动化,包括业务知识问答、测试用例生成、UI和API自动化用例生成等,有效提升了测试效率和覆盖率。其中,在测试用例生成方面,360集团探索了包括全量生成、增量生成和全量优化在内的多种测试用例生成方法。
完整内容:360集团基于大模型的智能测试实践
依托星火大模型底座,科大讯飞开发智能测试助手AiTest,将数据进行统一的调度、整合及编排,实现用例生成、自动化脚本生成等主要产品功能,并通过持续的价值指标数据采集及运营分析,为大模型的持续提升提供数据支撑。当前,智能测试助手AiTest在科大讯飞内部主要有三个典型应用场景,分别为功能用例生成工具链、接口自动化脚本生成、UI自动化。
完整内容:科大讯飞基于大模型的智能测试助手实践
更多研究:
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信:zimu738