大模型实现测试用例生成,头部企业实战经验分析

文摘   科技   2024-11-27 07:30  

作者|沙丘智库研究团队

来源|沙丘社区(www.shaqiu.cn)

在软件开发过程中,测试是确保软件质量和性能的关键环节。传统的测试用例生成依赖于人工编写,这不仅耗时耗力,而且容易受到测试人员经验的限制。随着大模型的出现,这一局面正在被改变。

大模型能够生成测试用例(用于正向测试和负向测试的手动测试和自动化测试脚本)和测试数据(用于填充应用程序数据库或驱动动态测试用例的执行),测试完成后,大模型可以将测试结果总结成执行报告,并对发现的缺陷进行分析,提高软件测试团队的工作效率,最大限度地减少人工操作,并提高代码质量。

根据沙丘智库发布的《2024中国企业IT部门大模型应用场景评估报告》,测试用例和数据生成是当前对企业IT部门来说可以进行战略选择的大模型应用场景之一,具有较高的业务价值和技术可行性。

当前很多企业在探索大模型+智能测试时都将测试用例生成作为切入点,沙丘社区通过研究腾讯、字节跳动、优酷、荔枝集团等4家互联网企业测试用例生成场景的大模型实践,旨在为其他企业提供参考。

案例1:腾讯测试用例生成场景大模型实践

当前互联网产品对迭代速度的要求越来越高,腾讯大部分产品以单周/双周的速度进行迭代,快速的版本节奏对测试用例编写效率和用例质量带来极大挑战。
腾讯基于大模型能力,将测试用例作为大模型在质效提升领域的切入点,开发Case Copilot,提升测试用例质量及编写效率,不断拓展能力边界,帮助业务解决质效问题,推进业务质量内建,提升研发效率和产品质量。
完整内容腾讯测试用例生成场景大模型实践

案例2:字节跳动基于大模型的单元测试用例自动生成实践

在单测生成产品研发中,最重要以及最容易遇到挑战的两个部分是数据质量和代码生成效果:
• 在数据质量方面,字节跳动通过工程化分析的方式协助大模型解决数据难题。针对数据质量提升,一是要提升数据真实性及充分度(入参、出参、依赖返回及断言数据);二是要准确提供模型提示词数据(路径、分支、条件等);
• 在代码生成方面,字节跳动通过模型化建设提升代码效果。首先是数据工程建设,包括样本打标、筛选、隐私过滤等,然后是提示工程和模型微调,最后建立了面向业务的评测指标。
完整内容字节跳动基于大模型的单元测试用例自动生成实践

案例3:优酷基于大模型的测试用例生成实践

优酷从测试用例生成场景切入,探索大模型在质量保障工作中的应用。通过向量化、图谱存储、混合检索方案等技术,以及模型的预训练、微调和强化学习,优酷实现了与原有工作流程的无缝衔接,提升了测试用例生成的效率和质量。
完整内容优酷基于大模型的测试用例生成实践

案例4:荔枝集团基于大模型的测试用例设计实践

荔枝集团面临测试用例编写效率低下和全面性不足的挑战,采用基于大模型的技术,通过标准化需求处理、向量库方案和测试平台建设,提升测试用例设计效率50%以上。实践证明,该方法有效提升了效率和用例采纳率,尤其是在中小型需求上表现更佳。

完整内容荔枝集团基于大模型的测试用例设计实践

更多研究:

百度智能测试助理testmate建设实践
华为基于LLM的测试自动化代码生成实践
中国邮储银行智能测试场景大模型实践
支付宝小程序基于AI大模型的自动化测试实践
字节跳动全流程质量保障智能化实践
...


*更多生成式AI研究可前往“沙丘智库”小程序查阅

*有任何需求可咨询客服微信:zimu738




沙丘社区
数字化研究与服务机构
 最新文章