有效性是情报研究中经常使用的一个术语。然而，有效性与情报的关系仍然难以捉摸，情报有效性的研究视角多种多样。本文旨在了解情报有效性的概念，并寻求更深入地了解推动有效性的因素。本文回顾了 12 种期刊的 176 项研究，确定了情报有效性的四种范式——效用、情报失效、精确性和严谨性，并描述了每种范式中的不同观点、用于确定有效性的结构及其前因。结果分析表明，情报有效性的范式是相互关联的。此外，范式及其结构可以进行排序，揭示我们知识上的差距，并为进一步的研究提供议程。
本文来源于2024年10月蓝军开源情报，1.5万字。已加入文末“蓝军开源情报知识星球”的用户可免费索取原文及译文，客服微信：Lanjunqingbao2081。
关键词：情报有效性，系统评价
这是蓝军开源情报的第 243 期分享
编译 l 所长007
来源 l 蓝军开源情报（ID：Lanjunqingbao）
转载请联系授权（微信ID：Lanjunqingbao2081）
一、介绍
有效性是情报研究中经常使用的一个术语。然而，有效性与情报的关系仍然难以捉摸，情报有效性的研究视角多种多样。从研究情报有效性的无数尝试中可以看出这一点。一般来说，有效性被定义为预期目标或效果实现的程度，预期目标或效果是确定有效性的基本要素。然而，在情报领域，对情报研究的目的、目标或预期效果的看法有所不同，并且是持续进行的学术争论的一部分。
关于情报和情报组织的目的、目标或预期效果的不同观点导致了评估或衡量情报有效性的不同方法。在一种方法中，Eiran 和 Gill 等作者列举了情报失败的详细说明，为研究导致情报失败的因素的学者提供了丰富的资料。因此，德瓦尔克和哥德巴赫认为，情报的有效性主要取决于其对未来事件的准确预测能力（无论是成功还是失败）。其他人，如洛文塔尔 (Lowenthal)、马克斯 (Marks) 和马尔基奥 (Marchio) 也同意预测的准确性决定了情报的有效性，但不同意失败与成功的二元性。怀特史密斯从不同的角度认为，情报的有效性取决于情报的客观性和过程的严谨性。从另一个角度看，Cayford 与 Pieters、Marrin 等认为，支持顾客决策是情报组织的根本目标，并从这个角度探讨情报组织的有效性。然而，情报效能评估方法似乎存在分歧，且在某种程度上互不相容。此外，这些不同的方法尚未进行对比。
许多确定情报有效性的努力往往是政府对过去情报不当行为进行调查的结果。这些调查促使人们呼吁加强情报机构的问责制和更彻底的民主治理机制。显然，评估情报的有效性是有意义的。此外，确定情报有效性的含义使情报机构能够评估其流程和产品，它加强管理，促进学习，并创造透明度和问责制。Caceres-Rodrigues 和 Landon-Murray 认为这使得情报有效性成为情报学者关注的一个关键问题。此外，他们呼吁对情报研究中的这些关键问题进行系统回顾，以探索知识状态，发现尚未解答的问题，并为未来的研究提供方向。曼德尔、泰特洛克和惠顿也呼吁更加系统地检验情报有效性。由于文献中缺乏对情报有效性的系统回顾，本研究对情报有效性进行了系统回顾，旨在了解情报有效性的概念。此外，本研究还旨在深入了解推动情报有效性的因素。为此，本文着手回答两个问题：情报有效性的构成因素是什么以及情报有效性在情报研究文献中是如何运作的？
以下部分将详细说明所使用的方法。然后，结果部分概述了情报有效性的方法。此外，还将这些方法相互对比，以更深入地探索如何定义情报的有效性。讨论部分将分析研究结果并提出研究情报有效性的研究议程。
二、数据收集和分析
系统文献综述是对特定主题现有研究进行有条不紊的全面分析。12本系统评价基于讨论情报有效性的期刊投稿，并着手探索情报研究中的情报有效性概念。
2.1.数据选择
系统评价首先通过搜索书目数据库来选择相关研究，搜索字符串包括预定义的关键字和搜索词。最初尝试通过这种方式进行数据库搜索来选择相关文章，但没有成功，因为它返回了大量与手头主题无关的不相关结果。尤其成问题的是“智力”一词是学术同音词。作为数据库搜索中的搜索词，任何组合都会产生大量结果，包括人工智能和情感智能，以及它们与从医学和心理学到组织效能等众多主题的有效性的关系。这类数据库搜索的另一个普遍结果是人类智力，它并不是指智力研究中理解的人类智力。尝试通过进一步指定和排除不需要的术语来优化搜索，导致结果减少，但也导致人们对数据库搜索结果的可靠性和全面性产生怀疑。因此，作者选择了另一种方法，从一组预定义的期刊中手动选择相关文章。这种做法并非毫无道理，因为 Horlings13和 Rietjens14 人根据从预先定义的期刊中选择的文章对情报研究进行了评论。这意味着这项研究偏离了有关系统评论数据选择的既定方法实践。这种局限性是公认的，因为方法论部分是由实用主义驱动的，并且可能排除了部分知识体系。然而，所使用的方法旨在以完整性换取可靠性和可复制性。其他研究人员可以使用类似的方法来尝试复制本研究不情愿省略的期刊的结果。
为了帮助进行系统而全面的分析，期刊选择旨在提供情报研究领域有效性研究的广泛概述。期刊选择分四个步骤进行。首先是 Coulthard 和 Marrin 列出的知名学术期刊，与 Horlings 使用的进行比较和 Rietjens。由此得出了至少在两项研究中使用过的 9 种期刊。接下来，对列表进行细化，以排除那些当时无法访问的期刊，仅排除了《情报与分析杂志》。第三步，添加了 Horlings 或 Rietjens 使用的期刊，这些期刊可能从不同的研究领域的角度提供对情报有效性的见解。这导致加入了《国防与安全分析》和《公共政策与管理》。然后，这份 10 种期刊的列表中又补充了两种期刊，预计这两种期刊将包含在旗舰情报研究期刊中并不普遍的关于情报有效性的观点或辩论。《国防与和平经济学》，因为该期刊为国防政策有效性的辩论做出了贡献。《战略研究杂志》。预计它将包括对情报在战争、国防政策和战略方面的目的、目标和预期效果的辩论的贡献。这一过程产生了以下期刊的选择：
1.情报和国家安全（INS）
2.国际情报与反情报杂志（IJIC）
3.情报史杂志（JIH）
4.国际情报、安全与公共事务杂志（IJISP）
5.情报、冲突与战争杂志（JICW）
6.警务、情报与反恐杂志（JPICT）
7.智力研究（SII）
8.美国情报杂志（AIJ）
9.公共政策与管理（PPA）
10.国防与安全分析 (DSA)
11.国防与和平经济学（DPE）
12.战略研究杂志（JSS）
接下来，只包括 2012 年至 2022 年发表的研究，以确保研究反映了关于情报有效性的最新观点。这导致了 5214 项可能的贡献，从中可以确定相关的研究。为了从这组中确定研究，选择了那些涉及情报有效性问题的研究在标题或摘要中。当出现疑问时，将对结论进行筛选，以确定该研究是否解决了有效性问题。
核实过程确定了 240 篇文章。进一步筛选排除了 5 条记录，因为它们要么是通信，要么是评论，要么是书评，筛选后剩下 235 篇研究文章。确定资格是选择研究进行审查的最后一步。研究符合两个标准即可纳入。首先，文章描述了情报有效性的概念。其次，论文将情报有效性的概念操作化为情报有效性的构造。这样一来，有 176 项研究符合纳入本次审查的资格。虽然另外 59 项研究通过了选择和筛选的必要条件，但由于未能描述情报有效性的概念或未能将有效性概念操作化，因此被排除在外。
2.2.数据分析
首先，对研究的元数据进行编码，以包括作者特征——姓名、作者人数、教育和专业背景以及国籍。教育背景是从论文中对贡献者的注释、作者的 ORCID ID 或通过搜索作者的简历中提取的。这一过程还产生了作者的专业背景和国籍数据。接下来——如果适用——对所研究的情报组织和研究的时间范围进行编码。确定情报组织的名称、类型、原籍国和服务部门。此外，还确定了研究的方法特征——例如，实证或概念、使用的数据收集方法以及定性或定量数据分析。最后，在适当的情况下，包括样本量和人口。
然后，作者通过识别所使用的情报有效性概念对研究内容进行编码。有效性概念的编码采用迭代过程。首先，纳入研究中提到的有效性描述，然后将其归类为情报有效性方法。这一步骤揭示了情报有效性的几种不同观点。在第二步中，审查了有效性概念及其相应观点的编纂，以确定它们之间的共同点。第三步确定了每篇文章的有效性衡量结构。对情报有效性衡量的更深入研究使得重新审查第二步的初始分类成为可能。在适当的情况下，结构的识别会导致研究的重新分类。然后，确定影响有效性结构的因素。当在研究中发现这些因素时，它们被编码为前因。上述迭代编码过程产生了有效性范例、它们不同的观点、用于确定每个观点内有效性的结构以及影响有效性结构的因素，即前因。
由于手动编码过程容易产生主观性，作者在进行这项研究期间，通过与同事讨论积极寻求反馈，力求提高可靠性。此外，这些讨论因所采用的编码过程的迭代性质而得到进一步推动。这导致对编码和分类的不断审查。此外，作者在 2023 年国际情报教育协会 (IAFIE) 会议和荷兰情报研究协会会议上介绍了这项工作后，与分区人员和其他情报学者进行了讨论。编码过程的迭代性质、研究期间的讨论以及会议上的参与有助于更清楚地定义代码和类别，并有助于为代码和类别设定更好的界限。为了确保在进行研究期间一致地应用编码实践，在对所有文章进行编码和分类后，对开始和结束时的编码进行了比较。
2.3.元数据分析
图 1显示了 2012 年至 2022 年所选期刊中关于情报有效性的研究分布情况。如图所示，发表在《情报与国家安全》和《国际情报与反情报杂志》上的研究占了该主题的大部分贡献。令人惊讶的是，《警务、情报与反恐杂志》和《国防与安全分析》没有产生任何合格的结果。其余期刊发表的关于该主题的文章少得多。
图 1.每本期刊的研究数量。
在本综述中，127 项研究只有一位作者，49 项研究有多位作者。图 2显示在所选期刊和时间范围内发表有关有效性研究的每个国家/地区的第一作者数量。虽然这组研究的作者来自 21 个国家/地区，但大多数研究都是由美国和美国盟国的作者撰写的。Van Puyvelde 和 Curtis人将英语作者数量众多归因于作者大多来自美国、英国、加拿大、澳大利亚和新西兰，这几个国家占了本评论的 126 篇 (71%)。从美国联盟的角度来看，这种对英语国家的偏见变得更加明显。137 篇 (77%) 的贡献可以归因于来自北约成员国的作者，只有 13 篇研究的作者来自不能直接被视为美国盟友的国家。法国和土耳其等北约大国的作者没有为这些期刊撰稿，德国和意大利等国家分别只有一人和两人撰稿。北约大国作者的贡献有限可能进一步证实了 Van Puyvelde 和 Curtis 的观点，即语言障碍可能是情报研究中非美国观点有限的原因。
图 2.第一作者的原籍国。
作者的性别多样性有限，因为绝大多数作者是男性（89%），而为该主题做出贡献的女性较少（11%）。女性合著者表现出略微不同的模式，因为女性合著者的比例（27%）高于女性第一作者的比例。男性和女性第一作者之间的分布与 Van Puyvelde 和 Curtis 的发现相近，但与 Rietjens、Horlings 和 Tuinier 的发现不同，这表明女性作者的纳入可能因情报研究子领域而异。作者的专业、教育和组织背景更加多样化。对专业背景的分析显示，发表情报效力相关论文的学者来自 26 个科学学科。大多数人具有政治学背景，其次是历史、情报研究、国际关系、心理学和哲学。专业人士来自 22 个科学学科，他们的教育背景与学者仅在科学学科的分布上有所不同。
三、结果
本评论中的文章总结了四种情报效能范式。首先，效用是情报研究中最常用的情报效能概念，几乎占了本评论中一半的论文。效用视角下的效能定义为情报组织对期望的安全目标的贡献程度。第二，情报失败的有效性范式。情报失败是指由于情报机构未能得出适当、正确或合理的结论，或由于客户未能采取缓解措施而导致客户感到意外。在这种范式中，情报和情报机构要么正确，要么错误。这种二元论忽视了情报本身可能具有的不确定性。第三个范式是精确性，支持者认为情报的有效性取决于分析产品做出准确或不准确评估的程度。这一范式承认预测未来事件存在固有的不确定性，这种不确定性通过置信度和概率限定词传达给客户。精确度不是关于对与错，而是试图确定不确定性被正确判断的频率。最后一个范式是严谨性。这一范式的学者声称情报的有效性与流程的严谨性有关。他们专注于改进分析过程，并鼓励使用结构化分析技术来减少偏见和心理陷阱，从而提高产品的准确性。在接下来的几节中，我们将通过识别每个范式的竞争观点、其构造和前因，分析这些范式如何实现有效性。文章在各个范式中的分布情况如下图所示。表 1。
表 1.每个范式的文章数量。
3.1.公用事业
关于情报效用，可以确定两种观点。首先，情报组织的效用在于它们支持决策者实现所期望的安全目标的能力。效用的第二个视角是情报组织对社会安全目标的贡献，它研究情报组织的治理机制。这些观点在分析层面上有所不同。决策者支持方法研究产品和组织内部层面的有效性，而治理方法研究组织间和机构层面的有效性。图 3根据效用范式、其相应的结构和前因描述观点。
图 3.效用范式的观点、结构和前因。
从决策支持的角度来看，情报组织在向决策者通报其环境并使其能够做出对决策者的目标最有益的决策时是有效的。萨尔米通过定义情报应该“……有助于决策者做出更好的决策和判断……”来具体说明有益的贡献意味着什么。可以确定三个定义决策支持程度的概念。首先，当情报输出具有可操作性时，判断力会得到改善，意味着结果应该有助于决策者的目标。可操作性的构造被操作化为由此产生的干预措施的数量或按已完成的情报要求数量，与信息的准确性、时效性和可靠性呈正相关。然而，现代信息环境包含的信息量更大，信息过载可能会抵消信息准确性的效果。因此，需要通过开发和利用现有情报流程中的处理能力来管理大量信息。
决策支持的第二个结构是意义建构或知识生成。奥曼德详细说明了分析师如何满足情报需求，并补充说“情报本身的基本目的是帮助提高决策质量”。这是通过知识生产和复杂性理解来实现的。意义建构通过确定情报收集所产生的知识的数量和质量来实现。Turcotte 的研究是这一构想的实证研究的一个例子，该研究描述了从德国战俘那里收集的情报如何积累了大量知识，从而为盟军的战争努力提供了帮助。另一个例子是哈姆对英国了解奥斯曼帝国的努力的考察。他总结说，最终，获得的知识有利于英国应对奥斯曼帝国崩溃的影响。反过来，知识的产生受到所提出和回答的问题以及所采用的收集方法的影响。不幸的是，在意义建构方面，情报需求的开发和需求的满足都没有研究过。
决策支持的第三个概念是减少不确定性。其理论依据是，意义建构可以减少决策者的不确定性，使他们能够优化决策。Izquierdo Triana 等人支持这一合理化解释，他们发现通过情报确定财务风险对 61 家西班牙公司的决策和财务业绩有积极的贡献。然而，Ben Gad 等人认为，在“不可靠的概率信息世界”中，不确定性只能在一定程度上降低。阿卡夫和诺林通过确定备选观点的数量来操作不确定性。本质上，他们认为不确定性需要准确确定，情报的效用部分在于其确定不确定性的准确性。然而，他们发现，在评估国家情报评估中对两个案例的相互竞争的评估时，他们缺少这些内容，这两个案例是 1962 年至 1967 年间向南越部署美军的决定以及米哈伊尔·戈尔巴乔夫改革的影响。实证研究确定了影响不确定性减少的两个变量。首先，决策者采用自学策略与不确定性减少呈正相关，表明情报消费者在减少不确定性方面发挥着关键作用。其次，由于不确定性部分取决于情报收集和评估过程中的不确定程度，因此它被认为与信息的准确性、新近性和可靠性呈正相关，这些变量可被视为信息质量的操作化。
关于情报效用的另一种观点是治理。这种观点认为，从治理角度来看，预算分配对于评估有效性至关重要。有效性的实现方式是评估制衡机制在多大程度上确保对情报财政支出的问责制，或者评估这些机制是否能防止产生与政治议程无关的情报并防止浪费公共资源。Steinhart 和 Avramov 概述了制衡机制应该能够产生两个主要结果。首先，它们必须通过提供可靠、客观和财政负责的情报产品来确保问责制。关于问责制的实证研究仅限于对情报机构治理机制的描述。在对新西兰、澳大利亚和加拿大情报机构问责机制的比较研究中，布鲁纳蒂发现，治理结构与各国如何定义其国家利益密切相关。加拿大对其利益的定义是基于价值观的，这意味着它根据价值观、规范和法律来定义其安全。相比之下，新西兰和澳大利亚的定义是基于物质的，因此更侧重于物理和经济安全。因此，新西兰和澳大利亚在安全事务上比加拿大具有更大的法律机动性。Yauri-Miranda 通过分析西班牙和巴西的问责机制来评估情报机构的权威，并确定了管理问责的四项原则：代表、监管、正义和信任。在一项比较南美国家治理结构的研究中，Cepik 认为监管与公正是相互关联的。他发现立法和外部控制在规范情报收集或镇压行动方面很弱，在打击政治滥用方面也很弱。然而，与独裁政权相比，民主治理结构并不一定会导致更负责任的情报组织，因为治理机制给情报预算带来了压力，由于监测和谈判成本的增加。尽管上述研究将情报组织的有效性定义为问责程度，但没有一项研究能够将这些结构进行衡量。
其次，斯坦哈特和阿夫拉莫夫认为，制衡机制必须与政治精英的议程保持一致，因为与他们的优先事项不相关的情报是对纳税人资源的浪费，对民选政府没有任何价值。Gilad 等人认为，通过研究情报如何有助于优化军事预算分配，可以实现对政治议程的重要性。在他们将军费开支作为政府总体预算分配一部分的理论优化模型中，他们弥合了决策支持能力与效用治理观点之间的差距，认为“一个国家的军事能力取决于其在武器系统[和]情报方面的支出”。此外，这里还有一个案例，即通过提出相关性程度决定预算分配来扭转因果关系的方向。不幸的是，从这个角度进行的研究还只是概念性的，在本评论的研究中尚未得到检验。
3.2.情报失败
情报失败的范式围绕两个角度展开：第一，无法准确预测未来的威胁；第二，无法根据情报采取行动。预测失败的观点认为情报旨在避免失败，并推断情报组织的有效性主要取决于其准确预测未来事件的能力。Vrist Rønn 将情报失败定义为情报组织“无法得出相关结论，例如无法预测恐怖袭击或其他不受欢迎/犯罪行为。他们还指任何错误和有缺陷的结论”。从行动失败的角度看，Ikani 等人认为，情报突袭的缺失是外交政策的一项绩效指标，这意味着情报的有效性只能通过其客户的有效性来间接评估。图 4展示了情报失败范式的视角、结构和前因。
图 4.情报失败范式的观点、结构和前因。
第一个角度是预测失败，所用结构是准确预测未来事件。据推测，准确预测的能力与分析技巧的质量以及随后的严谨性呈正相关。Arcos 和 Palacios、Mettler 和 Wirtz 的案例研究表明这种说法有一定道理。Stivi-Kerbis 认为，所用信息的数量和质量决定了分析的质量。但是，信息量也可能与失败有直接关系。卡拉姆在美国未能预测 1958 年伊拉克革命的案例研究中发现，所使用的不同信息来源的数量与失败呈负相关。信息质量对预测失败的影响仍不清楚。从这个角度衡量信息质量的工作很少。
相比之下，研究通常只考察质量决定因素，而不确定质量水平。信息质量的决定因素包括渗透到目标源的深度，情报协作程度以及分析师先入为主的态度的强度和存在。Wilson 等人的研究还表明，这些先入为主的态度在新冠肺炎危机的早期阶段就已存在，以及 Connelly 等人、Lillbacka 和 Wilkinson 等人的研究表明，它们在各自的军事情报失败案例中都是原因之一。一旦这些先入为主的态度出现，对新信息的接受能力就会受到限制甚至不愿意吸收新信息可能会增加观念的僵化，在某些情况下导致分析性的自我审查。在这一范式中，限制分析质量、导致情报失败的因素属于分析病态。
除了这些分析上的病理，在情报失败的范式中，组织上的病理也会影响预测的准确性。Barnea 和 Meshulach 将此称为组织认知失败，并将其定义为组织对威胁的错误评估。组织认知失败是由组织文化、缺乏领导力、流程不明确、缺乏协调和组织内部信息共享有限等组织问题造成的。此外，组织学习可以作为情报失误的制约因素，正如 Libel 在审查以色列外国情报机构内部自我驱动的适应举措时所证明的那样。
组织因素也被发现会影响行动失败，即情报失败的第二个方面。这个角度的构造是决策者的接受能力。金特里认为，对客户不满的恐惧、个人官僚贪婪以及对组织内部后果的恐惧限制了决策者的接受能力。此外，Borer 等人还确定了管理层和客户审查的来源，这些审查阻止了情报部门在报告迫在眉睫的威胁后采取行动，并发现“情报政策关系”中的一些问题无法受到情报组织的影响。Ikani 等人更乐观地尝试找出限制行动的组织因素，他们认为，注意力和优先次序有限可能会导致行动失败。个人层面的关注度和优先次序有限也可能影响决策者的接受度，接受度低或缺失会导致行动失败。Connelly 等人发现，美国决策者可能对伊朗沙斯政权垮台关注度有限，因为他们在戴维营协议前参与了高层谈判，因此未能果断采取行动同样地，达尔发现，美国军方对日本袭击中途岛之前的警告信号的关注度，比当时没有被优先考虑的珍珠港袭击之前的警告要高。
决策者的接受能力不仅部分受到应有的关注和优先次序的影响，还受到客户态度的影响，即对威胁分析的接受程度和决策者对不一致主张的开放态度。Gradon 和 Moy 在新冠疫情期间情报失误的案例研究中发现，情报政治化限制了决策者的接受能力。瑞安在研究 20 世纪 90 年代美国成功实现伊拉克无核化时也持同样观点。此外，产品的及时性和说服力等质量也会影响决策者的接受度。但就时机而言，似乎存在某种最佳点。太早了，就有狼来了的风险；太晚了，就会失去果断采取行动的机会。此外，说服力显然会加剧及时性的影响。奥斯特加德研究了埃博拉疫情警告的及时性，发现警告几乎立即引发了行动。决策者确信情况的严重性并采取了行动，而在 COVID-19 疫情中，决策者在疫情爆发初期并不确信情况的严重性，因此在采取行动方面更加犹豫。同样地，当伊朗国王面临革命的迹象浮现时，康纳利等人也发现美国国务院不愿采取行动。上述研究表明，及时性和说服力会增加决策者的接受度，但只有及时性并不能促使决策者采取行动，除非所提供的信息能够说服决策者。
3.3.精确
精确范式与情报失败范式截然不同，后者认为预测准确度只是正确或错误预测的二元状态。Chang 认为，情报的有效性可以通过评估情报何时、为何以及多久做出准确或不准确的预测来确定。但准确性不仅仅与马尔基奥所谓的分析师和情报组织的“击球率”有关。它还涉及向情报客户传达概率，以及围绕概率限定词传达的模糊性如何限制其对情报客户的效用。因此，本综述确定了情报精确度的两个视角：预测准确性和沟通不确定性。精确度范式的视角、结构和前提概述如下：图 5。
图 5.精准范式的观点、结构和前因。
首先，精确度与评估的正确率以及情报的准确性有关。与情报失败（只考虑情报错误评估未来事件的情况，即导致意外）不同，这种方法认识到情报本质上是不确定的。这些不确定性通常会明确传达给情报客户。然而，有时事件的结果会与之前的评估不同。Chang、Friedman 和 Zeckhauser、Hetherington、Lowenthal 和 Marks 以及 Speigel 建议确定情报的准确性并确定影响情报准确性的因素。Friedman 和 Zeckhauser 引入了两个概念，即校准和歧视，他们对其定义如下：“校准捕捉的是准确估计的可能性与实际发生率的对比情况……”而“歧视衡量的是分析师在不同案例中改变评估的有效性”。校准被认为与严格的分析方法呈正相关，但这一说法尚未得到证实。Hetherington 和 Dear 认为“……未能……评估英国军事情报预测的准确性限制了其作为指挥官辅助手段的有效性……”，提出了校准和效用之间的关系。一项关于校准的研究是 Kajdasz 的实验，他确定了一组 217 人的校准准确度，并将他们的表现与不同组大小的校准表现进行了比较。他发现，在校准方面，群体表现优于个人；换句话说，群体比个人提供更准确的预测。更具体地说，没有任何个人的表现优于任何群体。他还发现，随着群体规模的扩大，校准效果会得到改善，但随着群体规模的扩大，校准效果会逐渐减弱。不幸的是，没有发现任何实证研究探讨影响此次评估选择歧视的因素。因此，分析师如何、何时以及为何在不同案例中改变评估仍不清楚。此外，了解影响歧视的因素可以对这一结构的潜在动态产生有价值的见解。
关于精确度的第二个视角考察了情报机构向决策者准确、明确地传达不确定性的能力。曼德尔和欧文认为“……分析师不仅必须通过不确定性推理得出合理且准确的判断，还必须将不确定性清楚地传达给决策者，决策者必须决定如何根据情报采取行动”。一方面，这种方法围绕着分析师在向客户报告不确定性时遵守预定义的标准。另一方面，该方法检查不确定性的语言表达。理想情况下，它与概率表达相结合，以尽量减少自然语言的模糊性，从而准确、明确地向情报客户传达不确定性。减少传达不确定性时的歧义性，反过来，理论上会增加情报的效用。在一项描述性定量研究中，Dhami 研究了情报分析师对语言概率的使用情况。她表明，情报分析师在传达不确定性时使用不同的术语。这种异质性可能会增加与情报消费者沟通不畅的可能性。
3.4.严格
在这一范式中，情报的有效性是通过流程的严谨程度来衡量或确定的，严谨性可以定义为遵循正确的流程。严谨的流程据称可以提高情报分析的准确性，加深对历史影响的理解，提高分析的准确性，完善决策，并最终产生有利的结果。两种观点主导了这一范式的争论。严谨性的方法观点认为，情报的有效性是严格遵守方法论，认为合理的方法会产生理想的结果。相反，标准倡导者拒绝方法观点，因为它会导致不必要的标准化和制度化。标准观点认为，情报只有在遵守规定的严谨标准时才是有效的。严谨范式的观点、结构和前因总结如下图 6。
图 6.严谨范式的观点、结构和前因。
方法观点的支持者从 20 世纪 90 年代后期 Heuer 的研究成果中汲取了灵感。他指出，需要减轻认知偏见，使用结构化分析技术 (SAT) 探索多种假设，并在情报分析中促进系统性批判性思维。使用 SAT 应该可以提高情报评估的准确性和可靠性，从而提高其质量。这一观点得到了正在审查的概念文献的支持。如上所述，SAT 的目的是通过减少分析师的认知偏见来提高情报分析的质量。同样，这些技术的支持者认为，它们提供了认知策略，帮助分析师解决偏见，做出更好的决策，并提高情报评估的整体准确性和可靠性。不幸的是，本评论中的研究没有衡量对决策的影响；准确性和可靠性也没有衡量。
其他支持者则主张使用各种替代方法。例如，有人支持更谨慎地应用定性方法来加强战略分析。另一个论点是关于使用案例研究来提高情报分析的质量并帮助决策者了解当前的威胁和挑战。此外，还建议在情报分析中利用历史学家和社会科学家的最新见解。以 NORDIS 模型为例的结构化情报分析方法旨在使不确定的估计更加精确，同时认可一种指标和警告方法，以尽量降低情报失败的风险。在更具体的背景下，有人提议评估广泛使用的 SAT ACH（竞争假设分析）的方法有效性和稳健性。与传统 SAT 一样，本综述中的研究测量了其对决策、准确性和可靠性的影响。
相比之下，本评论中的研究考察了方法作为两个构念的先决条件的使用：偏见减少和推理质量。当使用偏见减少构念时，假设它将对情报的有效性产生积极影响，并最终产生更好的准确性和可靠性。此类研究的一个例子是怀特史密斯对结构化分析方法的有效性的研究，特别是竞争假设分析 (ACH) 及其与序列位置效应和确认偏差的关系。她得出结论，这种技术并不能减轻这些认知偏见。Coulthart 也支持这一结论，他在对六种常用 SAT 进行系统回顾时发现，ACH 减轻偏见的能力存在争议。此外，他发现诸如头脑风暴 A/B 团队之类的 SAT 在减轻分析师的偏见方面大多无效。另一方面，他发现一些证据表明，魔鬼代言人、红队和替代未来分析是有效的偏见缓解技术。
在使用推理质量结构时，首先假设它是 Heuer 可靠性的预测因素。反过来，推理质量与方法的遵守呈正相关。Stromer-Galley 等人研究了 SAT 的遵守对分析情报产品中推理质量的影响。他们发现，使用 SAT 比无辅助推理能提高推理质量。他们还发现，与预先定义和标准化的 SAT 序列相比，选择 SAT 时更灵活可以提高推理质量。第二个假设是可靠性的提高与决策质量呈正相关。Kruger 等人研究了推理质量和决策质量之间的关系。他们发现，培训与推理质量呈正相关，而推理质量可以使传达的风险和缓解策略更好地协调一致，从而做出更好的决策。
方法视角的大多数研究都考察了流程或产品层面的有效性。然而，这些构想如何延伸到情报组织尚不清楚。此外，由于分析师很少使用 SAT，因此很难说更严格的流程在情报组织中是否重要。缺乏证据表明情报机构使用 SAT，更不用说情报机构是否已将 SAT 的使用制度化。缺乏制度化可能表明，使用 SAT 不会给情报机构带来任何好处，或者只会带来微不足道的好处。
与方法论观点相反，Breakspear 认为，任何实施标准化方法（如新提出的“标准”定义）的努力，都有可能缩小情报实践的范围，使其变得不那么直观，更具程序性。这可能会导致方法认证基于一种错误的观念，即只有一种正确的方法可以进行情报分析。严谨性标准方法的支持者强调，情报的有效性取决于其客观性、中立性、准确性、说服力、及时性和相关性。在美国，分析标准在《情报界指令 203》（ICD 203）中有所描述，该指令是为了解决有关基地组织 9 月 11 日袭击事件的情报制作方面的缺陷以及对伊拉克大规模杀伤性武器计划的错误评估而制定的，并定期更新。ICD 203 规定了美国的分析必须遵守的五项分析标准，并规定分析必须客观、不受政治考虑影响、及时、基于全源情报，并且应用间谍技术标准。为了确定国家情报总监办公室改革的有效性，金特里得出结论，实施《国际刑事诉讼规则》第 206 条对情报机构的运作绩效的提升有限。具体而言，不太熟练的分析师通过遵守 ODNI 标准，虽然幅度很小，但可以避免基本错误，从而提高了他们的表现。然而，这些标准对改进分析的影响微乎其微。此外，他发现很少有证据表明遵守 ODNI 标准在过去几十年中减少了分析失败。不幸的是，Gentry 的研究没有给出标准遵守情况的衡量标准。
相比之下，Mandel 等人通过定量相关性研究考察了依从性程度，该研究考察了个人和组织对分析标准的遵守程度、尽责性、积极开放的思维、组织承诺和工作满意度之间的相关性。他们的发现表明个人和感知到的组织合规性很高。此外，他们发现个人合规性与尽责性和积极开放的思维相关，而感知到的组织合规性与组织承诺和工作满意度相关。遵守标准是否会提高决策能力、准确性或可靠性仍未得到证实，并且很大程度上依赖于传闻证据。
四、讨论
这篇评论的结果表明，情报有效性的范式是相互关联的，在研究范式的基本假设和预测时，这一点变得更加清晰。他们预测，适当的投入应该有利于严谨性，这反过来又应该提高决策者的精确度和效用，而且提高的精确度也被假设直接导致更大的效用。此外，这些假设表明，可以对范式进行排序，以与输入-过程-输出-结果框架（称为逻辑模型）保持一致。该模型在组织理论中被许多类似商业的方法用作有效性测量框架。可以按照这个框架对范式及其结构进行分类。以这种方式对结构进行排序可能会让我们对范式之间的相互关系有更深入的了解，同时也可能揭示我们知识上的空白。
按照输入、过程、输出和结果的顺序对这些结构进行排序，可以发现以下内容。大多数情报效能范式都认为，适当的输入可能包括情报人员的个人特质和培训、情报要求的结构和内容、所用信息的准确性和数量，以及各种组织因素。这些见解在情报失败范式中表现得最为突出。该范式的研究发现，情报失败是由于分析技巧差、信息来源质量低劣和可用性受限，以及适得其反的组织因素造成的。令人惊讶的是，情报失败范式并不衡量情报失败的程度。它衡量失败发生时存在或不存在的因素，似乎只关注情报输入。相比之下，严谨范式主要关注过程，忽视了适当的输入，尽管情报失败范式中的工作已经表明，适当的输入是健全情报过程的先决条件。严谨性认为情报有效性是通过改进分析过程来实现的，并且只关注严谨性如何减少偏见和思维陷阱。假设是，通过改进决策和提高精确度，减少偏见将对情报有效性产生积极影响。然而，这一假设尚未得到检验。此外，该范式预测严谨性与效用和精确度呈正相关。这种关系也由精确度、情报失败和效用范式预测。最后，提高精确度也被假设直接导致更大的效用。精确度可以被视为一种输出度量，被视为预测的准确性和准确、明确地传达不确定性的能力。预计这两个因素都与效用有正因果关系，效用可以被视为一种结果度量。虽然预测准确性和效用之间的关系仍然只是一个假设，但有证据表明，在传达不确定性时使用模糊的术语可能会增加与情报消费者沟通不畅的可能性，从而降低效用。效用范式的学者也发现了类似的证据。可操作性是效用范式的一个概念，被认为与信息准确性呈正相关。此外，情报的效用部分在于它能够通过做出更准确的预测来减少决策者的不确定性。
使用输入-过程-输出-结果框架对结构进行排序还揭示了我们知识上的差距，例如：输入（例如信息量或质量、培训、经验、个人特质、组织因素和系统等）如何影响严谨性、精确性和实用性？更严格的流程是否会提高情报组织的精确性？更高的精确性如何带来更高的实用性？严谨性与实用性有多大关系？情报组织的哪些组织因素会导致严谨性、精确性和实用性的提高？本质上，逻辑模型可能为未来的研究提供一些方向，帮助研究人员思考情报结构如何作为情报过程的一部分组合在一起。此外，通过将情报作为一个过程来研究，逻辑模型可能有助于概念化情报过程，从而增强我们对情报组织结构的理解。由于逻辑模型是组织生产过程的通用模型，因此通过这种视角来处理活动也可能加速情报组织正在进行的专业化工作。在这样做的过程中，未来的研究可能会发现需要定义新的结构来确定情报有效性范式之间的关系。
五、结论
本文的目的有两个。首先，旨在建立情报中的有效性概念；其次，深入了解这些概念是如何实施的。它确定了四种不同的有效性范式：效用、情报失败、精确性和严谨性。效用范式认为，情报的有效性取决于情报的可操作性、其知识产生或意义建构能力、其不确定性降低程度以及治理机制确保公共情报支出对国家安全的贡献程度。这些有效性衡量标准难以量化，部分依赖于可操作性、意义建构和不确定性降低等主观概念。情报失败的范式有两种形式：要么是预测不准确导致的失败，要么是未能根据情报采取行动。这种范式的优势在于它已经确定了许多影响有效性的先决条件。然而，这种范式忽视了不确定性，从二元立场来处理有效性。精确范式将有效性视为预测的准确性或准确无误地传达不确定性的能力，并且两者都被认为对效用产生积极影响。但这种范式主要是以产品或分析师为导向的。它主要涉及组织分析的微观层面，很少有研究研究不同情报组织的精确度差异。最后一个范式是严谨范式，它声称情报有效性与过程的严谨性有关。这种范式分为遵守方法和遵守标准的争论，但未能定义除了隐含的遵守这些标准或方法之外的有效性是什么。
这篇评论的结果表明，情报有效性的范式是相互关联的。此外，本文还提出，可以按照组织理论的逻辑模型对范式及其构造进行排序。以这种方式排序还揭示了我们知识上的空白，例如，更好的输入是否会带来更好的严谨性，提高严谨性是否会提高精度和效用，提高精度是否会提高效用。此外，它还确定了可能需要定义新的构造来确定情报有效性范式之间的关系。填补这些知识空白将有利于我们对情报有效性的了解。此外，填补这些空白可能有助于建立一个评估情报有效性的框架，该框架可能受益于组织理论中的知识体系，因为它包含大量关于有效性测量的工作。
目录
一、 介绍
二、 数据收集和分析
2.1. 数据选择
2.2. 数据分析
2.3. 元数据分析
三、 结果
3.1. 公用事业
3.2. 情报失败
3.3. 精确
3.4. 严格
四、 讨论
五、 结论
👇👇
本文原文、译文
及100+无人机报告
均已上传至星球
请登录下载
👇👇
更多推荐文章
👇👇
豪猪战略：台军未来在台海战争中的无人作战理念（13.6万字干货）
中美海上冲突3种情景：效用与影响（5.4万字精译）
中美南海冲突的3种情景（5.4万字干货）
台海战争：解放军攻打台湾港口面临的威胁（值得读3遍）
海峡上空的蜂群：未来台海战争的无人机战争（13.6万字干货）
纵深战斗：俄乌战争中俄乌双方的无人机战略打击（值得读3遍）
台海战争：解放军攻打台湾港口面临的威胁（值得读3遍）
第六代战斗机发展趋势研究（重要 | 收藏）
水下无人机的演进：未来战争的关键因素（推荐收藏）
认知战：对人域的攻击（值得读3遍）
俄乌冲突作战行动特点分析（值得读3遍）
认知战：北约的创新解决方案（干货 | 收藏）
俄乌冲突陆战研究（9.3万字干货）
俄乌战争空战研究（值得读3遍）
俄乌冲突太空作战及影响分析（值得读3遍）
俄乌冲突海战及影响分析（值得读2遍）
纳卡战争无人机作战应用与教训
俄乌战争中使用的49种无人机系统
美军在印太的军事态势与挑战（一）：美国海军陆战队的作战理念及近期在日本及周边地区的演习（3.5万字干货）
美军在印太的军事态势与挑战（二）：大国竞争下的常规威慑态势
俄乌冲突对未来战争的5个重要教训（值得读3遍）
反无人机技术与反无人机战略（上）
反无人机技术与反无人机战略（下）
像间谍一样思考：你必须了解的12个间谍基本常识
俄乌战争无人机分类研究（4.3万字精品译文）
俄乌战争无人机作战研究报告（4.3万字译文）
俄乌战争2周年后的战略评估（12500字精品译文）
俄乌战争中无人机使用情况研究
俄乌冲突中的无人机战争：历史背景和对未来的影响（附40个无人机报告）
俄乌战争大中型无人机研究（7万字精品译文）
俄乌战争空中作战的经验教训（附15个俄乌战争经验教训资料）
俄乌战争人工智能与网络战教训（附18个外军俄乌战争经验教训资料）
俄乌战争直升机作战战术和程序研究（重磅 | 收藏）
俄乌战争空中作战的经验教训（附15个俄乌战争经验教训资料）
俄乌战争俄罗斯核威胁研究
俄乌战争中的城市战及其表现研究（12000字精品译文）
军队士气对提升战斗力的作用研究（1.3万字译文）
认知战：作为北约武器的最新操纵技术（10万字干货）
认知战：软实力比硬实力更重要（10万字干货）
认知战武器：北约认知战发展年表（连载）
认知战：作为北约武器的最新操纵技术（连载0）
认知战武器：北约认知战发展年表（连载1）
认知战武器：认知战利用战争宣传（连载2）
👇👇
加入知识星球，立获5项权益
①全年365天下载10000+蓝军最新情报
②下载7个大数据库50个小库(带分类）
③下载2000本+外军经典专著
④免费提供原文情报精品翻译(限量）
⑤与1万名军事研究员和情报分析师
交流学习的机会
👇👇
原价999元！ 星球试运营期间199元！ 试运营结束，逐步恢复原价！
👇👇
及时收看更多精品译文
