项目分享 | 美国国家科学院院刊-城市视觉智能：通过街景图像揭示隐藏的城市轮廓

【使用街景特征（SVF）估算健康、犯罪、交通和贫困情况】

我们利用街景特征（SVF）来估算健康、犯罪、交通和贫困的统计数据。总体而言，SVF最好地估算了与交通相关的城市参数：当估算独自驾车出行的人口比例时，测试集上的模型拟合R²达到了87%，而估算使用公共交通出行的人口比例时，R²达到了82%。模型R²在缺乏体育活动的人口比例（LPA）上达到68%（图2B），在暴力犯罪上达到64%，在收入低于200%贫困线的个体比例上达到62%。相比之下，我们发现模型在成年人口中患有癌症、糖尿病和心理健康问题的比例上表现出相对较低的R²。在测试集上，CT（census tract）级别的R²最佳估计分别为48.1%、59.3%和62%。这些结果在各个都市区普遍一致。

图2.使用空间视觉特征（SVF）来估计健康、犯罪、交通和贫困情况

（A）模型拟合度R2比较的散点图。仅使用SVF的模型通常在估计大多数变量时优于使用POI特征的模型（CBG级别的相关性ρ=0.840；P值<0.001。阴影表示95%的置信区间）。我们将45度线绘制为参考。所显示的结果是随机种子重复模型十次后的平均测试结果。（B）使用SVF估计与交通相关的变量的R2。SVF可以解释CT和CBG级别估计的模型方差高达87%和85%。（C）使用SVF估计与健康相关的变量的R2。SVF可以解释CT和CBG级别估计的模型方差高达68%和65%。（D）比较在CBG和CT级别使用SVF和POI特征的模型拟合度R2。总体而言，CT级别的模型显示出比CBG级别模型更好的拟合度（平均差异为6.8%，P值<0.001）。

【在预测城市社会经济状况方面，SVF的表现优于POI数据】

为了验证SVF的预测能力，我们使用POI数据作为对照进行了模型比较。通过对比SVF和POI模型在CBG（census block group）级别的表现，结果显示，在124个CBG级别的案例中，有110个案例中SVF的表现优于POI，在CT级别的124个案例中，有97个案例表现优于POI。由于两组模型的R²值存在线性关系，可能会质疑这两组数据集是否有信息重叠。为了解决这个问题，我们进行了一个实验，将两组数据合并到一个模型中，并计算特征组的重要性。结果显示，平均而言，SVF对于预测与交通相关的综合行为贡献更大。

为了进一步证明我们结果的稳健性，我们比较了CBG和CT级别的模型结果。结果表明，在CT级别，模型的R²值通常高于CBG级别，这可能是因为CT的规模比CBG大，因此表现出较低的异质性。作为参考，我们还展示了仅使用POI数据的模型估计结果，发现CT和CBG级别估计之间存在类似的趋势。

【在预测城市社会经济状况方面，SVF的性能超越了动态人口数据】

有人可能会好奇，POI分布和SVF能否提供与人口密度相似的信息。如果是这样，仅使用与人口相关的因素能否达到相似的模型表现？实际上，我们的研究发现，建筑立面的平均比例与人口密度之间存在强烈的相关性。除了居住人口密度外，近期的研究还分析了白天人口、每个地理位置的访客数量、犯罪、交通和与健康相关的活动之间的关系。基于此，我们构建了一系列模型，以测试仅用动态人口特征能多好地预测本研究涵盖的城市方面。动态人口由白天（访问）人口、人口密度、夜间（居住）人口和居住密度描述。

图3显示，对于大多数模型来说，SVF和POI特征都是比动态人口特征更强的估计因子。然而，我们观察到人群特征与车辆行驶相关参数密切相关：在估计波士顿和纽约市的VMT时达到了83%的R2。相比之下，人口特征在估计健康相关参数方面预测性能可忽略不计。

图3 模型拟合R2比较：SVF、POI和动态人口 

（A）使用人口和仅使用POI特征的模型之间的R2比较。平均而言，CT级模型（Y ∼ {POI}）的R2约高出9.8%（t检验；P值<0.005），相较于模型（Y ∼ {DynamicPopulation}）的R2。（B）使用人口和仅使用SVF特征的模型之间的R2比较。平均而言，模型（Y ∼ {SVF}）的R2约高出22.8%（t检验；P值<0.005），相较于模型（Y ∼ {DynamicPopulation}）的R2。我们将45度线标注为参考线。线上方的任何点都表示模型在人口估计功能上优于模型。

【超越传统指标——SVF为交通、健康、贫困和犯罪估算提供了更多信息】

在美国，人口统计因素如年龄和种族与社区福祉紧密相关已被广泛研究。例如，最近的研究显示，COVID-19的死亡率和感染率与种族不平等有关。老龄化也是与癌症和糖尿病等健康结果相关的核心因素之一。人们的出行方式选择可能与他们的地理位置高度相关。在这里，我们收集了基本人口统计信息，探讨SVF是否可以改善对交通、健康、贫困和犯罪。

图4显示了两个主要发现。首先，当预测交通、贫困和犯罪时，使用SVF的模型表现优于单独的人口统计特征。然而，在估计物理活动不足（%LPA）和身体健康状况方面，SVF的表现超过了人口统计特征。相反，对于如癌症和糖尿病等疾病，人口统计特征是更好的预测因子。这些结果反映了年龄和种族与常见疾病的强相关联，而SVF在捕捉这种差异方面的能力有限。其次，与单独使用人口统计特征相比，添加SVF后模型的预测能力提高了5%到25%。预测步行和骑行出行、活动不足、身体健康问题和暴力犯罪数量的模型获得了最显著的提升。这些变量都与人类活动的强度相关，这与现有研究中声称人类活动与城市环境之间存在深刻联系的观点相一致。

图4.对所有城市生活指标进行多变量分析

深蓝色条形表示当模型仅考虑SVF时的R2。灰色条形表示当模型仅考虑位置、人口、年龄和有色人种时的R2。浅蓝色条形表示在前一模型基础上添加SVF后额外获得的R2。每个模型结果都显示了误差条。平均而言，通过将SVF添加到模型中，我们能够将模型R2增加5%至25%。年龄表示65岁以上人口的百分比。POC表示非白人种群的百分比。

这项研究通过计算机视觉工具对城市生活的理解作出了三个主要贡献。首先，评估了SVF在揭示更广泛社区社会经济统计信息方面的价值。以往利用计算机视觉工具的城市研究往往只关注如财富、犯罪或健康等有限的结果。然而，城市生活的福祉涉及更广泛的行为状态、选择和结果，而这些方面的并行考察在以前的研究中显著缺失。我们的研究发现，SVF在预测出行行为方面表现最佳，但在估计某些健康结果，如癌症、糖尿病和心理健康问题方面表现最差，这一结果在不同的城市环境中都是一致的。鉴于这些疾病与成人死亡率密切相关，规划官员应该更加关注这些领域的详细数据收集。

其次，通过将SVF的预测能力与其他常用的城市测量方法相比较，我们得出结论，SVF的表现超过了POI和动态人口等数据源。我们的结果表明，建筑环境的整体“外观”可能包含比功能、居住和访客活动密度更多的信息。

最后，细分和跨上下文可比的数据对联合国人居署的可持续发展目标监测至关重要。考虑到街景图像的空间-时间分辨率和全球覆盖范围，以前的研究已经提出使用计算机视觉工具和街景图像来补充劳动密集型的数据收集方法。在这些研究的基础上，通过比较使用SVF与仅使用年龄、人口和有色人种变量的模型，我们发现，添加SVF到预测模型中获得的信息量在城市生活的不同方面有所不同。

本研究可作为未来“城市视觉智能”领域研究的基础研究方法。随着可用的计算机视觉工具和城市数据的增加，研究人员可以进一步从城市的图像和视频中提取语义含义。这些工具和数据使城市研究能够捕捉城市中的大规模微观变化，综合城市中的隐藏信息，并推断未来趋势。此外，当今实践中的规划策略仍然主要围绕土地用途和功能。城市视觉外观的研究进展可以进一步影响未来的规划方法，并将城市的“外观”带入可操作的规划策略。

我们的研究结果应该根据其局限性来解释。我们只在谷歌街景覆盖的地区获取街景图片，其中可能遗漏了私人和高收入地区。此外，可持续发展目标提到的其他重要社会经济因素，如健康食品的可及性、教育成果、卫生设施和交通事故，也值得进一步探讨。本研究的方法可以应用于这些目标变量，以揭示使用SVF测量城市的潜力和局限性。

研究地点：

这项研究覆盖了美国的七个大都市区，表1展示了这些地区的信息。

SVFs提取：

通过谷歌街景API下载街景全景图，我们获取每个全景图的四个切片，这些切片根据相对于街景车辆的摄像机方向和俯仰角来确定。平均而言，每个CBG（研究中最小的单位）包含超过700个图像样本。

我们使用在MIT ADE20K场景解析数据集上训练的语义分割模型来对街景图像中的每个像素进行分类。原始数据集包含150个类别，我们从中选择38个类别，并将它们分组为13种街景特征（SVF）。以下方程用于计算四张切片图像中特征i的比例，以创建全景视图：

其中，是在方向j上被分类为特征i的像素数量，是方向j上图像切片的总像素数量。

POI数据测量：

兴趣点数据包括不同类型POI的总数、距离最近的轨道交通站的距离，以及每人可达的公园区域。每个POI位置包括纬度、经度、地点名称、地址和NACIS代码等参数。根据两位数的NACIS代码，我们将POI分为九个类别，包括零售、餐饮住宿、艺术与娱乐、教育设施、金融机构、交通设施、卫生保健中心、建筑和制造业。

针对社区的社会经济变量：

依赖变量来源于四个主要来源：疾病控制与预防中心的500城市项目的健康指标、2017年全国家庭出行调查的车辆出行习惯、2015至2019年美国社区调查的其他出行习惯，以及每个城市开放数据网站的犯罪数据。

使用SVF预测社区社会经济概况：

为了估计社区的社会经济统计数据，我们使用Python包scikit-learn训练LASSO回归模型。为了避免模型过拟合，我们将数据分为80%的训练集和20%的测试集，并进一步将训练集分为五个随机样本分组进行交叉验证。这个过程使用不同的随机种子重复十次，以确定测试集的平均性能。相同的过程在CBG和CT级别重复，以确保我们的结果是稳健的。此外，我们还将POI和SVF纳入同一组模型，并计算置换重要性以展示SVF和POIs的不同贡献。

这是一篇论述街景大数据之于城市研究的优越性方面的文章，论述严谨详实，观点鲜明。通过对比分析，从多角度论述街景数据特征的优势，论据充分，层次分明，说服力强。核心观点是：以街景视觉特征捕获城市信息，可为研究者挖掘城市隐藏信息、测度城市人群行为差异及理解城市提供更精准的方法。文章的方法论突破了传统城市研究依赖于定性分析和有限量化数据的局限，引入了计算机视觉工具作为数据获取和分析手段，通过从街景图像中自动提取街道家具、人行道、车辆等元素的信息，研究者能够获得关于城市环境和社区经济状况的更丰富和细致的数据。运用街景图像数据来解释出行行为、贫困状况、犯罪及健康行为，其解释性能高于通常运用的POI、人口和其他统计数据模型，这为城市规划者和决策者提供了一种新的工具，以更科学的方式理解城市问题，制定干预措施，并评估政策效果。文章思路清晰，可读性高，由于篇幅所限，译者对文章进行了提炼概括，原文中还包含更详细的研究方法及数据介绍，建议感兴趣的读者阅读原文。