测试三大难题之一 “测试有效性” 的应对策略

科技 2024-07-01 19:19 英国

在《软件测试三大难题：我们必须面对和解决》文章中提到三大难题，前面已经讨论了两大难题：

下面则讨论最后一道难题：“测试有效性”。

测试有效性，如前面所说，它更关注如何测的问题、更关注测试过程的效率，即如何在有限的资源和时间内，最大化测试的价值。就这一点，其实三年前发表过一篇文章：如何最大化软件测试效能？（附分享的PPT），把这问题说得比较透测。

如果更准确说，测试有效性更关注每一项测试、每一次测试都是有效的，没有做无用功。之前，有同学分享过在单元测试的有效性，即用变异测试来检验测试的有效性。简单说，代码中某个被测试的条件做了改变，原先测试这项条件的测试用例能够发现这个Bug，即能够杀死所发生的变异。否则，原先测试这项条件的测试用例不能发现这个Bug，说明这项测试用例是无效的。

那么对接口测试、系统测试，也可以引入类似的概念来检验测试的有效性。只是在单元测试的代码中注入缺陷比较容易，在系统级注入测试会复杂，甚至引起一连串的问题。看看能否将常规的测试和混沌工程联系起来？你可以试着回答这样的问题。

测试有效性，除了通过变异测试来检验之外，其实就是要：

消除重复测试
消除测试中的等待时间
消除没必要的测试
消除没有价值的测试

第一项比较简单，第二项比较明确，做起来还是需要功力，包括如何构建虚拟的测试环境，并和CI/CD集成，做到持续测试。

第3项和第4项看似接近，其实含义是不同的。根据测试目标或基于风险的测试策略，我们不需要做到非常接近100%的测试，例如我们根据80/20原则，只要覆盖80%的风险，那么再做覆盖额外20%的测试是不必要的。

没有价值的测试，是指测试没有从用户的角度出发、没有服务于产品愿景。例如，虽然我们做了某些功能的测试，但这项功能设计就是错误，这项功能就已经偏离用户需求、偏离产品愿景方向，做这类功能的测试，就是没有意义的。

测试有效性，也存在着和测试充分性的博弈，片面追求某一项目标，可能都会带来新的问题，达到平衡，才是最重要的。要想达到平衡，这又涉及测试策略，可以参考《软件测试三大难题：我们必须面对和解决》。

测试有效性，也可以参考我和两位朋友联合翻译的一本书《Effective in 软件测试》。

这周在英国剑桥大学，就先写这么多。每一位读者可以有更多的科学、哲学的思考，把测试引向更有价值、更高效的测试之路上。

（剑桥的数学桥，2个小时之前拍摄）

PS：欢迎提交AiDD北京站（8月16-17）、QECon上海站（9.21-22）的议题，如有问题，请留言。

软件工程3.0时代

由于大模型（LLM）正在改变着千行百业，软件工程（SE）更是首当其冲，迎来软件工程3.0新时代：模型驱动研发、模型驱动运维。本公众号将致力于研究SE3.0时代的软件研发新范式、理论与方法，介绍SE3.0时代的工具与实践。

最新文章

敏捷教练会悲伤吗？Agile Alliance已并入PMI

展望2025年智能软件工程

共促软件行业智能化转型，智能化软件开发产业图谱编制正式启动

2024年，大模型驱动的智能软件研发有哪些进展？

汽车将进化成为智能时代的空间机器人

大模型时代的软件工程教育，路在何方？

OpenAI 将一场发布会改为12天直播：Day 1发布了两大产品chatGPT pro和o1正式版

想了解智能化软件工程现状？快来参与 2024 年度调研吧！

做正确之事：软件研发的成功之道

2024 年 12 个最佳UI自动化测试工具推荐

大模型下半场：如何开发出杀手级的工具或应用？

从自动化软件测试到自主测试，还差几步？

错了，打开“深度思考”，的确做对了

让DeepSeek最新推理模型R1-lite做一道数学题，结果走进死胡同了！

重磅消息：Grok-3终结了黎曼猜想？而却因此被迫暂停训练

Tong test：AGI测试评级的标准与平台

“软件质量报道” 下决心迎接 “软件工程3.0时代”

大模型时代的软件研发：正确的打开方式

十大生成式 AI 趋势和20家有前途的初创公司

谷歌DORA：2024年加速DevOps状态报告

AiDD峰会的“AI+测试”议题全面亮相

神了：Claude 3.5能像人一样使用计算机，而且在编程、软件研发上进步显著

邀您共赴年末盛会｜QECon北京站议题出炉

深度剖析：字节跳动大模型训练被实习生“投毒”事件

当AI接连不断赢得诺贝尔奖：是人类的终点还是新的起点？

从木匠到AI教父：Geoffrey Hinton的传奇之路

历史性里程碑：诺贝尔物理学奖首次授予AI学者

两张架构图，让你感受一下大模型的惊艳

最新！明天上交所全网测试

A股沸腾，系统被买崩了？压力测试没做好？

Sam Altman昨天发文：AI 奇点近在咫尺，我们将进入“智能时代”

QECon主旨演讲之一：代码大模型改进的双引擎:数据增强和知识增强

强化学习中的自博弈（Self-play）会开启大模型的“后训练”时代？

chatGPT o1 preview用一个小时干完了博士一年写的代码

软件工程3.0的解释

OpenAI o1 新模型在解决博士级别的科学问题上超越人类

AI 大模型：软件研发的革新力量与未来展望

面向开发人员的 12款强大的 AI 工具（下）

面向开发人员的 12个款强大的 AI 工具（上）

再次扬帆起航：启动2024年「软件研发应用大模型」的调查

推荐一款强大的开源编程助手Cursor

AiDD2024 「AI+研发数字峰会」北京站圆满收官！

由一份财报解读，给您参加AiDD峰会的四大理由

AI代替了我的右手，而且我再也回不去了！

AI+人访谈录：半路入行找到“人生坐标”

刚刚，与GPT-4o相媲美的开源大模型Llama 3.1发布了！

万字长文技术分析：CrowdStrike导致大规模系统崩溃事件

测试三大难题之一 “测试有效性” 的应对策略

软银孙正义：10年内，超级智能ASI水平将是人类的10000倍

测试三大难题之一 “测试充分性” 的应对策略

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉