最新进展 | 融合多模态数据的城市土地利用识别和不确定性分析

通过融合多模态数据可以更准确地识别城市土地利用模式。然而，许多研究仅考虑地块内的社会经济和物理属性，忽略了地块之间的空间交互作用和多模态数据引起的不确定性。基于此，本研究通过构建多模态数据融合模型（MDFNet）提取“自然物理-社会经济-空间交互”属性，并结合广义加性模型和可学习权重模块构建了不确定性分析框架，以定量解释数据驱动的不确定性。实验结果显示，MDFNet在测试精度和Kappa系数上均优于其他对比方法，分别达到了0.882和0.858。不确定性分析揭示了遥感影像、社会感知数据和轨迹数据对土地利用识别的贡献程度依次递减，分别为0.361、0.308和0.232。此外，本研究还阐释了不同土地利用类别中多模态数据的协同作用机制，为城市空间分布模式的识别提供了一种准确且具有解释能力的方法。

受人类活动和城市化进程的影响，城市土地利用变得复杂多样，不同用地类型之间的空间交互关系也变得错综复杂。因此，有必要设计一种高效、自动的方法来识别土地利用模式，以服务城市规划和促进可持续发展。

以往的研究主要存在两方面的不足：（1）尽管多模态数据融合已被证明可以有效识别城市土地利用类型，但大多数研究仅考虑地块内的属性，忽略地块外部空间交互关系。而地块之间的空间上下文信息对理解城市空间结构至关重要，有必要进一步将空间交互特征引入研究中；（2）缺少对于土地利用识别中多源数据导致的结果不确定性的定量分析，难以解释不同数据源对土地利用影响机制和贡献度。

针对这些问题，我们提出了一个基于深度学习的土地利用识别框架，该框架全面表征土地利用的“自然物理-社会经济-空间交互”属性，并探索数据驱动的不确定性机制，以克服先前研究的局限。本研究的主要贡献为：（1）提出了一种多模态深度学习网络，通过表征土地利用的多重属性，解决现有研究在属性融合中空间关系挖掘方面的不足；（2）提出了一种考虑多模态数据特征的土地利用不确定性分析框架，通过定量分析各数据源的影响，解决了不同数据特征对土地利用识别结果影响分析的不足。

如表1所示，本研究使用三种类型的数据集作为输入数据，包括遥感影像（HSR）、腾讯时序人口数据（RTUD）和出租车轨迹数据（TTD）。基于前人研究结论，本研究采用480 m × 480 m的格网尺度进行实验，并将HSR和RTUD裁剪成相同大小的影像块以用于模型输入。将TTD映射至网格内和其他数据进行空间匹配。以同一辆出租车的上车地点和下车地点为依据作为不同网格的交互关系，构建图网络，并将网格之间的交互次数作为边权重。计算网格内的平均瞬时速度、上车次数和下车次数，作为当前节点的属性值。

通过混淆矩阵，我们观察到在数据融合后，大多数类别的准确性显著提升。对于住宅和绿地类别，单一数据源已经获得较高精度，数据融合进一步提高或保持准确性。对于公共服务设施和仓库类别，单一数据源的表现较差，最高准确率分别仅为54%和76%。但通过多模态数据融合后，这两个类别的准确率分别提升至78%和88%，这表明所提出的模型能够自适应地学习不同数据源的特征，从而提高了识别精度。

5.2 模型消融分析

此外，我们发现，改变模型结构对性能提升的影响相对较小（最高仅为3.6%），而数据融合则突破了模型结构的限制，提升了9.4%。以数据为中心的人工智能（Data-centric AI）已被证明是有效的，这意味着未来的研究应该集中在多模态数据融合方法上。

5.3 典型区域结果分析

我们选取了几个典型区域进行误差分析。RTUD和HSR的融合能够弥补以正确识别那些缺乏显著社会经济属性或自然物理特征的区域。例如，ResNet模型能够提取出显著的建筑结构（如规整建筑、运动场等）进行精确识别，以避免RTUDNet的错误分类。而RTUD能够识别出在视觉上容易混淆但时序特征明显的区域，例如图4(C)中的商业游乐园，其丰富的绿化和布局可能被错误地判断为公共服务设施，但其在RTUD呈现节假日人流量明显高于工作日，使得模型能够得出正确的识别结果。

5.4 不确定性分析

多模态数据中的深层语义差异会导致结果的不确定性，但现有研究多数只生成，并未阐明决策机制。本研究采用可解释性技术，从ante-hoc和post-hoc两个方面分析数据和结果之间的关系，量化不同数据源对土地利用识别的影响。在ante-hoc，基于多分类可解释模型（MC-EBM）计算不同数据源的总体贡献。在post-hoc，从可学习权重模块中提取了更新的特征向量，以进一步分析多模态数据在不同土地利用类别中的贡献程度。

5.5 土地利用制图与分析

基于训练好的MDFNet进行制图。研究发现，以绿地为主的非建成区用地占总面积的51.1%，与城市建设统计年鉴（https://www.mohurd.gov.cn/）中表述的结论相符。城市建成区中，工业用地和仓储用地分别占12%和10.4%，集中在郊区和沿海地区，这些地方租金成本低且海陆运便利。住宅用地、公共服务设施和商业用地分别占15.5%、7.8%和3.2%，呈现出混合分布模式，符合“15分钟社区生活圈”规划方案。

本研究构建了一种新型的城市土地利用识别框架，通过融合遥感影像、腾讯时序人口数据和出租车轨迹数据，提取“自然物理-社会经济-空间交互”等属性以全面了解土地利用模式。该方法在深圳进行了验证，结果表明该模型优于其他方法，测试精度达到0.882，证明了多模态数据融合的必要性。本研究的另一个重要贡献是构建了不确定性分析框架，阐明了多模态数据在整体任务中的作用，并量化了多源数据对各土地利用类别的贡献程度。为今后相关研究制定数据融合方案提供了一个有效框架。

参考文献

论文 | 通过时间序列社交媒体数据挖掘中国县域尺度城市功能模式

论文 | 基于兴趣点语义嵌入的城市功能区分布估计

论文 | 时序电力数据可以用于城市功能结构识别吗？

论文 | 基于多源大数据和互相关语义信息挖掘的城市功能识别

论文 | 基于路网和复杂图论的多层次城市社区发现和功能区识别