周六的时候，在ASPICE V4.0 Upgrade培训的课堂上，有个CA资质的学员问了这样一个问题：
项目开发的是“中控”产品，给项目做评估的ASPICE Assessor要求，为满足ASPICE V4.0，每个测试用例的测试结果都需要保留截图证据，“中控”产品的功能比较多，有很多HMI，按照Assessor的要求来做的话，会很影响测试效率和成本，并且似乎看不到由此带来的价值。
Assessor引用了ASPICE中的如下的要求：
SYS.5.BP3: Perform verification of the integrated system. Perform the verification of the integrated system using the selected verification measures. Record the verification results including pass/fail status and corresponding verification measure data.
必须要保留截图证据吗？
有经验的顾问，遇到这样的问题，一定不会直接给出标准答案（事实上，也不存在标准答案）。一定会说：it depends on….
如上图所示，执行测试时，需要记录”实际测试结果”，用来支持“判定”，这样也能方便验证测试结果的正确性。
可以看一些具体的场景：
(1) 使用工具进行测试，工具会输出Test log
此时需要保留Test Log，并基于Test Log，填入实际测试结果
VDA Guideline V1.0中，关于这一点，有如下的Rating Rule要求:
[SYS.5.RL.7] If the test results contain only a pure passed/failed in-formation without a supporting test log, the indicator BP4 must not be rated higher than P
(2) “预期结果”是一个范围，是不确定的
例如：
[预期结果] : Response Time < 500 ms
此时[实际测试结果] 需要记录实际测量到的数据结果：Response Time = 457ms
是否需要对使用仪器进行测量的值，拍照保留证据呢？
(3) 测试用例没有通过(FAIL)
此时为了有效的支持缺陷的再现和解决，除了记录实际的测试结果之外，保留证据会比较有帮助。
(4) “预期结果”是确定的
例如：HMI中的画面迁移、画面显示等
此时[实际测试结果]，只是标识一下与[预期结果]相同 & 不保留截图证据，会存在什么风险呢？
聊到这里，想起很多年之前，部门内另外项目中发生的一件事情：
交付给客户的一个正式版本，客户测试时发现了一个缺陷。客户和项目组对这个缺陷进行了5Why分析，发现这个缺陷是“测试组”漏出的缺陷。测试组的测试用例中有对其进行测试，但测试结果显示的是”PASS”。
这个分析结果的影响就是：测试组重新执行测试，并且要保留每个测试的截图证据。
这个情况，具备普遍性吗，还仅仅是个”个例”呢？
我还想举个地铁的例子：
乘坐地铁的人，是需要买票的。
在中国、日本等地区，使用“闸机”来检票
在德国，没有检票的“闸机”
那么，在德国，就真的没有逃票的吗？
只要有逃票的，那么“不使用闸机来进行检票”的做法就存在一定的风险
但这个风险是可以接受的吧？
需要记录”实际测试结果”，但是否需要保留测试结果的最原始的截图证据，这个是需要综合考虑的，风险、成本、收益、性价比......
不保留原始截图证据，一定有风险，但要考虑这个风险是否是可以接受的…..
当我讲到这里的时候，这个学员说，项目的Assessor无论如何都不接受解释，一定要求要截图保留证据，那应该怎么办呢？
这个时候，我给这个学员说了一个笑话：
郭德纲有一个相声：比如我和火箭专家说，你那火箭不行，燃料不好，我认为得烧柴，最好是烧煤，煤还得精选，水洗煤不行。如果那火箭科学家拿正眼看我一眼，那他就输了…
（-- 完 --）
先起公司近期公开课：
推荐阅读：
欢迎访问公众号菜单，下载文章合集
