点击蓝字
关注我们
下载链接：
https://doi.org/10.1287/mnsc.2023.4893.
01
研究背景
在运营管理、经济学和市场营销等领域，结构估计是一种重要的实证研究工具，它能够从决策模型中恢复具有行为解释的参数值。需求估计是结构估计方法的一个突出例子，它能够估计消费者对各种产品或服务特征（如价格）的偏好参数。随机系数多项式 logit 模型（Random Coefficient Multinomial Logit, MNL）广泛用于从销售数据中估计客户偏好。但是，这些估计模型只能考虑销售量为正的商品;这种选择会导致长尾市场（即许多商品的销售额为零或较低的市场）的估计值存在高度偏差。这种偏差不仅影响参数估计的准确性，还可能导致基于这些估计做出的管理决策出现偏差。
02
研究问题
如何在长尾市场中准确估计消费者偏好，特别是在许多产品销量为零或很低的情况下，如何纠正由此引起的估计偏差。
03
模型构建
随机效用选择模型：
xjt为市场t中产品j的一组观测特征，包括价格pjt和其他特征。表示产品的未观测特征，可能与xjt相关，这一特征影响消费者选择，并且
在不同市场中独立分布。假设市场t中的消费者i，其偏好为βi，这些消费者偏好是异质的：βi是从一个均值为β,方差为
的分布中随机抽取的。
独立同分布。
消费者i在市场t中购买产品的效用为：
产品的真实市场份额(严格为正)：
由于真实的市场份额观察不到，观察到的是N个消费者做出购买决策的选择概率：
因此，在市场t中，观察到的聚合份额向量是随机份额向量
多项式
的一个实现。N足够大时，
。然而，有一个关键区别：尽管
是严格正的，但如果一个产品的效用很低，样本sjt可以为零。这个事实可以创造出一个零观察销售的产品长尾，这是本文中考虑的设置。
BLP估计：
在描述的数据生成过程中，
是感兴趣的（因果）参数，对于任何
，产品的市场份额可以使用份额函数表示为：
假设所有产品都有正的观察份额，即sjt＞0，对于任何θ的值，存在一组
使得。
因此定义逆份额函数。
由于部分产品特征是内生的，因此定义一组工具变量zjt来估计。设zt市场中所有产品的工具矩阵，在
时，
当T→∞时，其中ET表示在观察到的T个市场的样本中的平均值。这个矩条件是给定观察到的协变量xt，工具变量zt和市场份额st估计的关键。BLP提出了一个估计器，它使用广义矩量法（GMM）来求解，方法设置
其中W是一个正半定权重矩阵。是
的一个
一致估计器。
但是，BLP估计器中，假设样本中的所有产品都有正销售，BLP程序无法处理长尾市场，若用BLP处理长尾市场，解决方案是排除任何零份额产品的估计。然而，BLP中使用的矩条件反映了对所有产品（不仅仅是那些有正份额的产品）的期望。排除零份额产品类似于选择那些具有更高不可观测值的产品；这种选择违反了矩条件，导致估计结果有偏（通过引理1证明）。
两阶段估计器：
两种类型的正销量产品：第一类包括那些无论其不可观测变量的值如何都会有非零销量的产品。我们称这些产品为“安全”产品，因为它们不受选择的影响，因此不会导致估计偏差。第二类包括那些如果没有高值的
可能就会零销量的产品成为“危险”产品。
基本原理：
首先，使用神经网络仅根据其产品特征来预测每个产品的市场份额。这些预测估计了产品从其可观测特征中获得的效用；将它们与观察到的份额进行比较，帮助我们识别每个产品受到选择的影响程度。其次，我们将具有相似预测份额的产品进行匹配，并重新加权观察到的份额，以降低危险产品的权重,纠正BLP估计中的偏差。受选择影响程度高的产品被赋予低权重；这个过程减少了它们在估计中的重要性，最小化了它们的高值扭曲样本期望矩条件的程度。然后我们运行标准的BLP估计，使用这些加权份额来获得更准确的顾客偏好估计。
第一阶段：市场份额预测:使用神经网络以反映随机系数MNL模型的数据生成过程
在第一阶段，构建一个模型来预测给定其特征xjt的产品j在市场t中的市场份额。使用这个模型来预测数据集中每个产品的市场份额，包括那些零销量的产品。这些预测构成了第二阶段纠正长尾偏差的加权方案的输入。
本文提出的模型由F个个体预测器组成，每个预测器根据其观察特征预测产品的市场份额。平均所有F个模型的预测结果以获得我们的最终输出。设
表示预测器fi为市场t中的产品j预测的份额。我们可以将视为两个函数的复合：
，它估计每个产品的效用，以及确定性映射
，它使用MNL变换将这些估计的效用转换为市场份额：
定义为一个具有可训练权重wi的神经网络，用于预测效用。使用一个没有隐藏层或非线性激活的单层网络，恢复标准逻辑函数形式
。由于观察到的是份额而不是效用，因此定义g为这个神经网络的最后一层，将
输出的效用映射到市场份额。
现在已经定义一个具有自由参数wi的函数fi，它使用其自身的协变量和其他市场中产品的协变量来预测产品的市场份额。可以解决wi的值，以最小化观察到的和预测的份额之间的平方误差（通过反向传播的梯度），然后使用这些预测在第二阶段。然后通过定义F个函数并将最终输出计算为这些个体模型的平均值来消除IIA（独立无关选择属性）的依赖：
然后通过最小化以下损失函数来训练这个网络：
训练好的神经网络随后可以用于预测每个产品的市场份额，而不依赖于IIA属性。在这个设置中，每个个体神经网络fi代表一个顾客，而其自由参数代表顾客的偏好。由于优化的wi可以从一个网络变化到另一个网络，不同的“顾客”被允许有不同的偏好，正如随机系数MNL模型中一样。
神经网络模型了所有产品（包括零销量产品）的观察市场份额与其协变量之间的关系。通过包括所有产品，确保了神经网络有效地估计了，即产品在给定其观察特征的情况下的预期市场份额。这个期望是在不可观测的
上取的，并且是有条件的观察协变量；因此，它提供了一种评估产品是安全还是危险的方法。如果
很大，那么市场t中的产品j很可能会不管其
的值如何都有非零销量。这些产品是安全的，不会导致选择偏差。然而，如果很低，那么产品(j,t)可能根据其
的值有零份额。这些产品是危险的；如果使用其中一些产品进行估计，但不包括其他产品（即，排除那些零份额的产品）则违反了BLP的矩条件并导致有偏结果。
当在实践中拟合第一阶段的神经网络时，使用k折交叉拟合来获得每个产品的最终市场份额预测。将数据集分成k个部分，每个部分包含T/k个市场。然后保留第一部分，对剩余的（k-1）个部分进行神经网络训练，并预测保留市场中产品的份额。对每个部分重复此过程，就获得了数据集中所有产品的市场份额预测。这个过程避免了过拟合，从而产生高质量的市场份额预测，提高了阶段2中估计的性能。
第二阶段：使用这些预测来重新加权观察到的市场份额，并用BLP估计结构参数。
从现在起，只包括有非零销售的产品。因此，在第二阶段运行的BLP估计中的产品集合与BLP中的产品集合完全相同；然而，加权方案纠正了排除零份额产品所引起的偏差。
BLP估计对于长尾市场是有偏差的，是因为当排除零销售产品时，其矩条件被违反了。为了纠正这种偏差，必须使用在真实参数下仍然成立（即等于零）的矩条件。通过重新加权观察到的市场份额来实现这个目标，使得对偏差贡献更大的产品对矩条件的贡献更小。如果是代表市场t中产品分配的权重向量，那么加权方案应该满足以下属性：
加权:
只需要使用重新加权的份额wtst而不是观察到的份额st来运行BLP。使用第一阶段的预测来构建这样的加权方案。首先，根据它们的预测份额对所有市场的所有产品（有正销售的）进行排序，并将它们划分为B个箱子，将具有相似值的
的产品分组。我们选择箱子的数量B是足以减少箱子内
变化的最小数量。
考虑第k个箱子Bk；对于每个产品且
，我们表示它们的预测份额
并分配以下权重：
一个产品的权重是同一箱中所有正销售产品的预测市场份额的平均值与观察到的市场份额的平均值之间的比率。由于预测份额估计
，同一箱中的产品从它们的观察特征中获得相似的效用。因此，一个箱的权重反映了它所展示的平均选择程度。一个产品的权重反映了它的安全性或风险性：产品受不可观测选择的影响越大，它对偏差的贡献就越大，分配的权重就越小。降低风险产品的权重减少了它们在BLP估计中使用的矩条件的贡献，并将
在
时的期望值即使在存在选择的情况下也缩小到零。
正交化：
将观察到的份额st替换为重新加权的份额wtst并运行标准BLP以获得改进的估计。然而，由于没有观察到真实的权重wt，并且wt是使用第一阶段的神经网络估计的，第二阶段的结果是有偏的。为了使估计
一致，需要使用“双机器学习”方法来“正交化”BLP的矩条件。这种修改使BLP对神经网络估计w的小偏差具有鲁棒性，这些偏差可能来自正则化或过拟合。
为此，我们将矩条件替换为
，其中是一个
维的矩阵，估计真实的正交化参数
。然后定义两阶段（TS）估计器如下：
04
结论
文章为广泛使用的BLP模型提出了一个两阶段估计器，用于在数据呈现长尾分布时的需求估计。将机器学习方法与结构估计相结合，以纠正应用于长尾数据的经典BLP估计器中的偏差。通过模拟和真实长尾数据测试了所提出方法的性能，结果表明该方法能够准确估计消费者行为，并且比BLP和其他估计器表现更好。
所提出的方法在多种实证设置中都能纠正偏差，并且可以用于提供关于定价、产品组合等重要管理决策的指导性政策建议。
识别二维码关注我们
文章推荐人｜李子薇
笔记审核人 | 罗陈斌
校对 | 周雪妍
排版 | 周雪妍
