在实证研究中，通常采用一个标准框架来评估经济意义。该框架通过回归系数的估计值，报告自变量变化对因变量的影响程度。例如，Ghaly、Dang 和 Stathopoulos（2017）在讨论其发现时提到：“劳动技能指数（LSI）对现金持有量的影响在经济上具有显著性：劳动技能指数每增加一个标准差，资产现金比率将增加4.2个百分点，相当于现金比率相对于样本均值增长21.2%。”要理解研究结果的经济意义，重要的一步是以可信、可靠和信息丰富的方式进行此类计算和解读。然而，在文献调研中发现，有三个主要挑战阻碍了对经济意义的有效评估。
第一项挑战：经济意义测度的缺陷
文献中大多数用于衡量经济意义的指标缺乏理想的特性。在本文的样本中，超过56%的论文通过将因变量的变化量与因变量的样本均值相除来衡量经济意义。然而，以因变量均值为基准的经济意义测度存在多个问题：
对数据变换的敏感性：尽管这种度量对数据的乘法变换具有稳健性，但对因变量的加法变换（例如行业调整）可能会导致结果被夸大。 虚假显著性：以均值为基准的测度容易为无关的自变量产生过高的经济意义估计。 模型选择偏倚：研究者可能通过组合不同的方法寻找能够得出高经济意义估计的模型，从而引入模型搜索偏倚。 对异常值的敏感性：以均值为基准的测度容易受到异常值的影响。 对负值变量的不适应性：当因变量包含负值（如盈利能力）时，以均值为基准的测度表现不佳。
通过模拟回归，展示了基于均值的测度在使用1963至2018年Compustat数据生成的常见结果变量时的不足之处。为了解决这些问题，一种简单的方法是采用以因变量标准差为基准的经济意义测度，这种方法具备多项理想特性。在模拟中，以标准差为基准的测度对乘法和加法变换均具有稳健性，不会对无关变量产生虚假的高估计，同时能够抵御模型选择偏倚、异常值以及负值因变量的影响。然而，尽管具有这些优点，以标准差为基准的测度在样本中的论文中仅被使用了10%。
第二项挑战：缺乏评估经济意义所需的统计信息
论文中通常未提供评估经济意义所需的统计数据（比如，X或者Y的标准差），这是一个问题。研究者使用了多种经济意义的测度，但缺乏统一的标准，使得将经济意义置于上下文中进行解读变得困难。如果论文能够报告必要的汇总统计数据，读者便可以独立计算经济意义。然而，多数论文未提供计算常见经济意义测度所需的统计数据。例如，要计算一个标准化的经济意义测度（即解释变量每增加一个标准差对因变量标准差百分比变化的影响），只需回归系数以及解释变量和因变量的标准差。但在本文的样本中，仅有33%的论文提供了这些信息。
第三项挑战：缺乏经济意义的比较基准
大多数论文未能提供可以与其经济意义测度相比较的基准。在本文的样本中，只有不足13%的论文将其关键变量的经济意义与其他论文的发现或常用协变量进行了比较。缺少比较基准的上下文，使得读者难以评估报告效果的实际重要性。为了应对这一挑战，建立了两套基准，以便比较研究结果的经济意义：
1.顶级期刊发表的关键研究结果的经济意义基准：在本文的样本中，包含954个回归分析，对所有提供必要信息的论文中关键解释变量的经济意义进行了标准化测算。尽管在比较变量间经济意义时需谨慎，这些统计结果可以帮助研究者评估其发现与顶级期刊发表结果的对比情况。
2.标准控制变量的经济意义基准：这套基准是基于实证回归中常用控制变量的经济意义计算所得。
总的来说，本文的分析提出了一些明确的建议，旨在改进经济意义报告的实践。1.研究者应当采用以因变量的标准差Sy为基准的经济意义度量方法，而不是以因变量的均值为基准。2.此外，研究者应当提供必要的统计信息，以便于计算标准化的经济意义度量。3.同时，研究者还应当提供相应的基准，以帮助将经济意义的度量置于适当的背景中进行解读。
许多从分析中得出的结论同样适用于其他因变量的回归分析，如下文所讨论的。在安慰剂检验、事前趋势检验和其他模型假设检验中，这些概念同样适用。在这些检验中，通常将统计上不显著解释为模型假设成立的证据。然而，近期的文献强调，应评估这些检验中回归系数的大小，而不仅仅关注统计显著性（参见Freyaldenhoven, Hansen, 和 Shapiro 2019；Bilinski 和 Hatfield 2019；Kahn-Lang 和 Lang 2020；Roth 2022）。
即便本文中的建议被严格遵循，通常仍需进一步的工作来全面评估结果的经济意义。正确计算度量并提供有信息价值的基准，能更有效地传达相对经济意义，而非绝对经济意义。然而，要全面理解研究结果的现实影响，往往需要额外的分析，而这些分析高度依赖于具体的经济背景。换言之，正确进行计算并恰当地解读仅仅是第一步。正如Ziliak和McCloskey（2008）所言：“真正的科学要求你在科学共同体内做出真实的科学判断和科学论证。它要求你具备量化的说服力，而不是机械地进行无关紧要的操作。”
关于经济显著性，1.实锤! TOP刊上30%文章使用控制变量实现统计和经济显著性！2.AER前沿: 结论可能反直觉并且很好示范了如何说明经济显著性！3.关于回归的经济显著性说明, 这篇AER做了完美示范！
*群友可直接在社群下载该文全文参看。 关于固定效应，参看：1.交互项! 交互项! 固定效应回归模型中的交互项！2.在Stata中如何做2SLS, DID, DEA, SFA, 面板PSM, 二值选择, 固定效应和时间序列？3.一定要控制时间固定效应吗？4.公司和个体固定效应总是更好吗? 关于固定效应使用和解释的最全指南！5.使用固定效应FE时良好做法对应的检查清单，6.双向固定效应多期DID最新进展和代码汇总, 关于控制变量和固定效应选取的讨论，7.快速估计带有高维固定效应的泊松模型, 这计算速度真快, 真实用！8.不能直接控制某个固定效应时, 我们能尽量做些什么呢？9.时间固定效应和时间趋势项的区别, 可以同时加？10.省份/行业固定效应与年份固定效应的交乘项固定效应，11.截面DID, 各种固定效应, 安慰剂检验, 置换检验, 其他外部冲击的处理，12.广义合成控制法gsynth, 基于交互固定效应的因果推断，13.固定效应模型+测量误差=有问题, 如何解决这问题呢？14.到底控制什么层面的固定效应? 最低, 最高, or随意？15.固定效应: 目前看到解释的最清楚的帖子, 救命！16.固定效应模型+测量误差=有问题, 如何解决这问题呢？17.TOP5被质疑用log(1+x)数据转换, 固定效应, 双重差分事件图, 结论不可靠！18.审稿人: 如何在双向固定效应下还能估计出不随个体变化的宏观变量呢？ 关于聚类标准误的使用及其聚类层级的问题，1.啥时候使用聚类标准误, 以及数据聚类的修正方法? 2.在什么级别上标准误聚类, 个体, 县, 省或行业, 时间？3.什么时候用双聚类稳健标准误? 在个体和时间层面上考虑依赖性问题！4.双重聚类cluster咋做? 线性, logit, tobit可以双聚类吗? 5.聚类标准误精辟解释, 保证你一辈子都忘不了！6.4位计量领域大佬在TOP5上为聚类标准误问题提供了实证建议！7.完整解读TOP5刊的"什么时候和如何对标准误做聚类调整?" 4位计量大佬的合作！ 一些讨论，1.七大常见计量问题讨论汇总, 涉及控制,异质,机制,DID,DDD,调节,固定,平行,安慰等，2.关于双重差分DID政策评估中的控制变量选取标准？3.在平行趋势检验中对政策前后系列年份进行缩尾处理？4.使用异方差稳健而不是聚类稳健标准误, 在固定效应模型中能接受吗？5.平行趋势通不过, 该采取什么方法来更好地满足平行趋势呢？6.QA: 基尼太美, 农业数据, 机制检验, 组间差异, 博士论文创新, 控制函数, FM回归 7.审稿人: 你2SLS-IV回归中为啥R方是负数呢？
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
7年，计量经济圈近2000篇不重类计量文章，
可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle
