大模型提升测试质量和效率:8家头部企业“大模型+软件测试”落地实践

文摘   科技   2024-09-13 07:30   浙江  

作者|沙丘智库研究团队

来源|沙丘社区(www.shaqiu.cn)

对软件开发技术的新投资确保了更快的软件交付速度和更高的质量,从而带动了软件测试解决方案的快速增长。AI技术的引入,尤其是大模型技术的发展,进一步激发了人们对软件开发和测试现代化的渴望。

OpenText 联合凯捷和 Sogeti 发布的《世界质量报告(2023-2024)》指出,77%的企业持续投资于人工智能,并利用它来优化质量流程。

在大模型的推动下,AI驱动的智能测试工具市场快速发展。将大模型用于软件测试领域可以提供更高的测试覆盖率,减少不稳定的测试并加快缺陷修复过程。这有助于提高测试人员的测试质量和效率,加快缺陷修复,并确保遵守企业内外部的软件开发标准。

根据沙丘智库发布的《2024中国AI驱动的智能测试工具市场指南》,AI驱动的智能测试工具是指基于人工智能技术实现持续、自我优化和自适应自动化测试的工具,其功能涵盖软件测试生命周期的各个环节,包括测试场景和测试用例生成、测试自动化生成、测试套件优化和优先级排序、测试分析和缺陷预测以及测试工作量估算和决策制定。

随着企业加快其数字化转型的步伐,AI技术也在IT领域的各个方面越来越普及,企业在开发和部署软件时,越来越依赖于AI技术来提高效率和质量,AI驱动的智能测试工具市场将继续扩大,企业将投入更多资源来利用这些工具提高软件开发的质量和速度。

沙丘社区通过研究字节跳动、百度、华为、腾讯、邮储银行、中信银行、优酷、科大讯飞等8家企业在“大模型+测试”领域的大模型应用探索,旨在为其他企业提供参考。

案例1:字节跳动全链路智能测试体系建设实践

字节跳动灵活运用软件工程分析方法结合大模型,提供面向QA场景的全链路提效能力,建设智能单测、智能分级、测试用例生成、质量评估等原子能力,并提供可视化配置、度量看板等服务化功能,组成全链路智能化的研发质量保障体系,持续提升业务质量和效率。

完整内容:字节跳动全链路智能测试体系建设实践

案例2:百度智能测试助理testmate建设实践

百度开发了智能测试助理TestMate,服务于百度内部的智能测试工作。TestMate除了具备大模型的基础能力(意图识别、记忆管理、多轮交互)外,还内置了通用的测试领域知识和原子测试能力,并允许用户进一步通过能力中心自定义 Prompt、自动化用例模板、业务私域知识,自定义上下游能力组合并进行串联等,以打造业务专属的智能测试助理。
完整内容:百度智能测试助理testmate建设实践

案例3:华为基于LLM的测试自动化代码生成实践

华为选择大模型辅助测试自动化代码生成作为大模型在智能测试领域应用的突破点,首先使用SFT调优方案,落地场景为老特性防护网补齐,但存在时间间隔导致无法写新特性;然后,使用RAG方案实现分钟级新特性编写;再次,进一步实现无需写样例脚本,直接通过AW生成。从整个方案迭代方向看,AI自动生成的比例越来越大。

截止2024年6月底,大模型辅助测试自动化代码生成的应用人数为近3k人,覆盖60+产品,测试自动化生成的代码量40+万行。

完整内容:华为基于LLM的测试自动化代码生成实践
案例4:腾讯测试用例生成场景大模型实践

腾讯基于大模型能力,将测试用例作为大模型在质效提升领域的切入点,开发Case Copilot,提升测试用例质量及编写效率,不断拓展能力边界,帮助业务解决质效问题,推进业务质量内建,提升研发效率和产品质量。

完整内容:腾讯测试用例生成场景大模型实践

案例5:邮储银行智能测试场景大模型实践

邮储银行开发“研发测试大模型”,打造端到端智能研发方案“智能研发测试助手”,并将智能研发测试能力融入DevOps平台、测试平台,实现测试流程的自动化和智能化,提升研发效能。

智能测试服务覆盖测试全链路的典型场景,例如:

• 测试分析:根据业务需求、需求文档内容自动生成测试要点、测试流程图,辅助测试人员提供测试设计思路;

• 测试用例设计:通过业务规则、交易链路、测试资产(专项知识、高质量用例等)生成测试需求用例,包括用例步骤、预期结果,部分替代了传统的手工编写方式;

• 测试数据生成:通过规则文档、计算公式文件等内容,也可以通过输入业务逻辑、数据生成规则、计算公式、条件约束等,结合后台已定制化的Prompt模板,生成相应的测试数据;

• 测试智能问答:实现测试相关知识的智能问答,减少文档查询时间。

完整内容:邮储银行智能测试场景大模型实践

案例6:中信银行测试大模型建设实践

面对银行的复杂流程,为了突破测试人员的个人能力和智力限制,提高测试人员效能,中信银行基于大模型技术和高质量数据资产,在软件测试领域打造了测试大模型“第二大脑”,探索大模型在软件测试生命周期各个环节的应用,辅助测试人员提升测试质量和效率。

短期来看(2023+),大模型将辅助测试;中期来看(未来1-3年),大模型将担任主笔测试,长期来看(未来3-10年),大模型将转变成主导测试的角色。

完整内容:中信银行测试大模型建设实践

案例7:优酷基于大模型的测试用例生成实践

优酷从测试用例生成场景切入,探索大模型在质量保障工作中的应用。通过向量化、图谱存储、混合检索方案等技术,以及模型的预训练、微调和强化学习,优酷实现了与原有工作流程的无缝衔接,提升了测试用例生成的效率和质量。

完整内容:优酷基于大模型的测试用例生成实践

案例8:科大讯飞基于大模型的智能测试助手实践

依托星火大模型底座,科大讯飞开发智能测试助手AiTest,将数据进行统一的调度、整合及编排,实现用例生成、自动化脚本生成等主要产品功能,并通过持续的价值指标数据采集及运营分析,为大模型的持续提升提供数据支撑。当前,智能测试助手AiTest在科大讯飞内部主要有三个典型应用场景,分别为功能用例生成工具链、接口自动化脚本生成、UI自动化

完整内容:科大讯飞基于大模型的智能测试助手实践


更多研究:

2024中国人工智能编码助手市场指南
中国工商银行智能研发体系建设实践
中兴通讯星云研发大模型应用实践
贝壳找房AI研发助手CodeLink实践
中金公司代码大模型实践
...


*更多生成式AI研究可前往“沙丘智库”小程序查阅

*有任何需求可咨询客服微信:zimu738




沙丘社区
数字化研究与服务机构
 最新文章