本文内容来源于《时空信息学报》2023年第2期
姚巍，王谱佐
香港理工大学 土地测量与地理资讯系, 香港 999077
基金项目: 国家自然科学基金项目（42171361）；香港研究资助局项目（PolyU 25211819）
摘要 ：实景三维作为国家新型基础测绘和时空大数据平台的重要数据支撑，实现了对真实世界的高精度、高真实度、高智能度的数字化重现，具有广泛的应用价值和社会意义。实景三维数据提供了对真实物理环境准确和逼真的描述，有助于在各个领域更好地进行决策、分析和模拟。本文以第24届国际摄影测量与遥感大会（XXIV ISPRS Congress）的研究成果为依据，从实景三维的立体化、真实化、实体化三个方面，概述了国际上的科研进展和发展趋势，并针对中国实景三维建设面临的难点和挑战，提出了相应的对策和建议。针对不同层级的地理空间实体（如地形、城市、部件等）的建模需求，立体化重构技术利用不同数据获取平台特点，借助多模态遥感数据融合实现产品的多尺度多细节层级表达。纹理定向映射和感知信息融合等技术进一步提升了重构产品的真实化描述，将三维模型真实客观地模拟于数字化空间。具有海量性和实时性的物联感知数据包含了物联网技术采集的各种传感器数据，将其与实景三维模型进行融合和分析，既可用于实景三维产品更新，也可借助三维平台为众多时空地理信息应用赋能，如提供监测环境变化、预测灾害风险等智能服务。同时，实体化建模技术通过对精细化分类三维产品的各个部件结构进行编码存储，并利用在线系统与支撑环境的建设提供高效便捷的管理和计算平台，从而力争达到众多地理应用模块的综合协同。中国当前在实景三维技术领域同样成果显著，但在未来还需要突破关键技术。为实现实景三维产品的高效建模，需进一步融合数据源特点，完善产品结构和属性细粒度，并在此基础上最大限度压缩计算和存储成本。挖掘海量物联感知数据在实景三维产品真实化描述方面的潜力，同时关注传输安全和协同管理。另外，提高三维产品部件结构分类的自动化及通用化程度有助于建立高效便捷的数据处理体系。实景三维建设还需要完善数据管理标准和计算资源分配机制，以保证数据质量和安全性，以及计算效率和可靠性，从而更好地为社会发展提供科技支撑。
1 引 言
实景三维作为一种新型基础测绘标准化产品，以数字虚拟形式对真实世界进行准确的模拟。通过在三维地理场景上构建结构化、语义化、支持人机兼容理解和物联实时感知的地理实体，实景三维可为数字中国建设提供统一的空间定位框架和分析基础，是数字政府、数字经济重要的战略性数据资源和生产要素（朱庆等，2022）。
自然资源部办公厅于2022年发布的《关于全面推进实景三维中国建设的通知》明确了实景三维中国建设共有五大建设任务，分别为地形级实景三维建设、城市级实景三维建设、部件级实景三维建设、物联感知数据接入与融合、在线系统与支撑环境建设。通知呼应了自然资源部此前发布的《实景三维中国建设技术大纲（2021版）》（以下简称《技术大纲》）。由图1可知，实景三维建设技术路线大量涉及摄影测量与遥感专业技术。
国际摄影测量与遥感大会（International Society for Photogrammetry and Remote Sensing Congress）作为摄影测量、遥感和空间信息科学领域顶尖的会议，反映了全世界在该领域研究中的最新发展动态。因此，本文结合第24届大会上学术成果，对当今国际实景三维最新科研成果和技术发展进行总结概括，试图为中国实景三维发展提供系统性的理论与技术参考。
图1 实景三维建设技术路线（修改于《技术大纲》）数字高程模型（digital elevation model，DEM）；数字表面模型（digital surface model，DSM）；数字正射影像图（digital orthophoto map，DOM）；数字真正射影像图（true digital ortho map，TDOM）
Fig. 1 Real-scene 3D construction technology route (Modified in Real-scene 3D China Construction Technology Outline (2021 Edition))
第24届国际摄影测量与遥感大会于2022年6月6~11日在法国尼斯召开（https://www.isprs2022-nice.com/）。会议现场以全体讲座、分会场、海报和企业展示的形式举行，从不同层面展示了摄影测量与遥感领域的最新科学技术发展。会议接受并发表了2000多篇学术论文，超过50个国家的学者在现场参会。实景三维是本次大会一大热点方向，有16个分会场主题与实景三维高度相关，共涵盖了上百篇最新科研成果，其中，热门技术统计，如图2所示。
2 立体化重构技术
2.2 城市级立体化重构
城市级实景三维建设是当前的研究热点，同样也是难点。为实现高精度地理实体数据建设，对源数据采集和智能化、自动化的处理算法均有较高要求。本次大会涉及城市三维建模的研究颇多（三十多篇相关文章），一系列方法可实现由粗到精的城市级实景三维建设。通过覆盖大范围城区的卫星影像做立体匹配，可实现大尺度快速的城市三维建模（Lee和Park，2022；Stucker等，2022；Tripodi等，2022），如图5所示。然而，此类方法精度很难达到应用或任务要求。
为建立更精准的城市三维模型，许多方法融合航空影像和机载激光点云数据，能够同时获取高精度三维几何坐标信息和丰富的纹理信息（Macher和Landes，2022；Zhang等，2022a）。当前，随着无人机技术的发展，利用无人机数据建立城市三维模型已逐渐成为主流研究方向。由于无人机具备成本低、更新数据周期短、精度高等特点，与其他数据获取来源相比有巨大优势。无人机影像可近距离地记录城市结构，结合人工智能与机器视觉算法，生产高精度的城市实景三维模型（Kim等，2022）。更进一步的，有研究通过将摄像机搭载在无人机上，利用视频形式采集序列化的城市数据，提高了建模过程的成功率和模型的精确性（Hermann和Weinmann，2021）。街景数据同样也是高精度三维建模的重要数据来源，包括街景（全景）图像和移动测图激光点云数据。街景数据与无人机数据能形成有效的互补，从鸟瞰和地面角度全方面记录城市结构（Wahbeh等，2022）。
部件级实景三维建设在城市级数据的成果上做进一步完善，包含建（构）筑物结构部件、建筑室内部件、道路设施部件、地下空间部件等，并要求更高的分辨率和实时更新。
部件级产品与城市级产品建设涉及的技术方法类似，但数据来源有所不同。对于建（构）筑物结构部件和道路设施部件等设施，利用无人机数据和机载、车载激光点云数据可有效地构建高精度实景三维模型（Buyukdemircioglu和Kocaman，2022；Gaspari等，2022；Mwangangi等，2022；Sani等，2022）。例如，在意大利，无人机测绘被应用于桥梁三维建模和结构健康监测，并通过网页交互平台查看和分析三维产品（Gaspari等，2022）。无人机影像和机载激光点云数据被融合后用于荷兰细节层次（level of detail，LoD）2级别建筑物三维重建，方法结合色彩纹理和三维结构的特点，进行准确完整的建筑物表面提取和建模（Mwangangi等，2022）。
由激光点云构建的建筑物三维模型，如图6所示。
而对于室内场景，目前也有很多的便携式三维数据采集设备（Zhang等，2022b）。智能手机的发展为室内测绘和导航提供了高精度、低成本的数据来源。例如，一些最新的智能手机已搭载了激光扫描仪，配合已有的高清相机，可实时生成纹理信息丰富、几何结构精准的实景三维模型（Díaz-Vilariño等，2022）。随着便携式激光扫描仪成本的进一步降低，此类产品在实景三维建设中有着广泛的应用前景。
数字孪生概念是当前的一大研究热点，也是建设部件级实景三维产品的重要环节，本次大会也有七项相关工作。建筑物实体是数字孪生一大体现，通过将现实世界中的建筑物完整真实地还原到虚拟环境中，使用户能快速便捷地实现各项操作。CityGML 2.0 标准（Gröger等，2012）定义了五种LoD模型，如图7所示。有研究利用无人机数据和航空正射影像构建了具有地理参考的建筑物LoD 3模型，并对室内场景进行了精确建模，最终生成了完整的建筑物信息模型（building information model，BIM）（Dursun等，2022a）。另外，在本次大会中，数字孪生在一些具体应用中也有涉及。例如，美国国家交通部门调查了数字孪生在运输资产管理中的实践和发展需求，在数据格式、数据详细程度、数据收集、数据特征等方面做了详细的调查研究（Ammar等，2022）；多模态和多尺度遥感数据被用于海岸地形测绘数字孪生模型（Grossmann等，2022）；数字孪生模型在混合现实场景可实现远程协同工作（Baumgartner等，2022）。总的来说，当前数字孪生模型存在功能单一、难以实现多用途实用化的问题。部件级实景三维建设还需持续精化，丰富产品内容，实现精准表达和按需定制的个性化应用服务。
实景三维的真实化描述是指在数字化虚拟空间中真实客观地记录物理世界，这也是实景三维建设区别于传统三维建模的关键提升之处。真实化描述主要包括纹理定向映射、感知信息融合等方面。目前，纹理定向映射可由包含影像几何建模的立体化重构技术实现。利用航空、无人机影像和街景图片等丰富的数据来源，可将纹理信息精确地映射到实景三维产品中（Macher和Landes，2022；Kim等，2022；Wahbeh 等，2022）。相比之下，感知信息融合是实现真实化描述亟需解决的重要问题，本次大会也出现了一些相关文章。
为将感知信息融入实景三维产品中，需获取海量物联感知数据并实现智能分析。物联感知数据建设将支撑数据实时接入及空间化，采用空间身份编码等方式实现其与基础地理实体数据的语义信息关联。物联感知识别主要涉及信息编码、网络传输、传感器设备等方面。因此，本文主要聚焦大会上关于物联感知数据在摄影测量与遥感领域应用的研究。
随着物联网的发展，众源数据在地理信息领域应用广泛，通过网络数据挖掘、收集地理实体有关数据并实施具体应用分析。例如，意大利的研究利用众源数据分析亚马孙雨林的森林砍伐现象（Bratic和Brovelli，2022）；通过网络多源数据收集，获取研究区域在不同时期的地表覆盖信息，并使用变化检测方法计算减少的森林区域。加拿大的研究利用社交网络数据分析城市人口流动，有助于城市规划和智能交通管理（Basmenj和Li，2022）。在实景三维平台的帮助下，众源数据可得到更真实立体的可视化效果，从而更好地服务于分析决策。另有加拿大的研究利用实景三维平台搭建了道路表面异常检测系统，收集用户上传的具有位置信息的道路异常图片，并通过概率模型分析进行精准的道路异常区间定位（Sattar等，2022），如图8所示。
实体化建模对实景三维产品从整体到部分进行了功能细分，划分出三维模型的各个部件结构，并进行编码描述和存储组织。生成实景三维模型后，自动化分析提取语义信息是构建智慧城市、实施自动化监测的必要步骤。当前，随着人工智能和计算机视觉在摄影测量与遥感领域的发展，已实现在多平台、多任务上进行有效的语义分析，从不同层面获取需要的地理实体信息。本次大会上也出现了大量创新的智能算法，无论数据来源是遥感影像还是激光点云，均可实现高效、高精度的地物分类（22篇）、目标检测（24篇）、实体分割等任务（3篇），能有效地赋能实景三维产品语义信息挖掘（Lyu等，2021；Michel等，2022；Wilk等，2022；Su等，2022；Wang和Yao，2022）。例如，双向多尺度注意力机制被运用于无人机图像语义分割网络中进行多分辨率特征融合，实现了对荷兰地区精确的城市地物分类（Lyu等，2021）；德国学者提出了基于形状的非极大值抑制算法过滤错误的检测目标，提高了遥感影像目标实例分割精度（Michel等，2022）；日本学者将深度学习模型用于机载激点云建筑物检测，并分析了不同邻域大小和输入特征组合对精度的影响（Su等，2022）。
另一方面，实体化的实景三维模型需要构建数字空间底座平台支撑，利用在线系统与支撑环境建设实现数据的统一管理。此任务致力于在全国构建统一的基于云架构、兼顾结构化和非结构化数据特征、分版运行的国家和省市县实景三维数据库和管理系统，为智慧城市时空大数据平台、地理信息公共服务平台及国土空间基础信息平台等提供有效的实景三维数据支撑。同时，在线系统与支撑环境综合了各项实景三维技术，通过构建统一的数据管理平台展示地理场景、地理实体和物联感知数据以支撑智慧城市等各项应用。本次大会上出现了几篇相关文章。AI4GEO 是一项由法国提出的科研计划，旨在构建自动生成 2D和3D 地理数据的管理平台（Brunet等，2021），其框架结构，如图9所示。
AI4GEO能够自动处理原始输入遥感数据，并通过嵌入的智能处理算法得到众多地理实体，如DSM、LoD 2级别建筑物模型等。AI4GEO还能进行一系列智能分析，如获取地表植被覆盖、城市变化检测等。另外，有研究通过虚拟现实技术构建智慧城市，使用户能以真实的视角感受城市模型，并助力更精准的城市建设与管理（Buyukdemircioglu 和Kocaman，2022）。不少研究在实景三维平台基础上进行实际应用展示。例如，土耳其学者利用实景三维平台实现精确的地籍统计管理，从单体建筑物、楼层到具体房间层级查看地籍信息（Dursun等，2022b）；历史图像重建被应用到实景三维平台，通过历史街景照片和实景三维模型的重叠，实现真实立体的城市历史变迁（Gomes de Castro和Brédif，2022）。总的来说，这些地理系统平台功能不多，且无法满足大规模的数据管理。后续需构建数据–软件–平台统一的多形式多样化服务，实现数据库协同管理、定制化软件部署、平台开放通用的应用机制。
中国在实景三维技术领域同样取得了显著的发展，并在政府支持、技术研究和应用实践等方面取得了积极成果。随着硬件设备和软件工具的不断改进，中国开始在实景三维建模、虚拟现实和增强现实等方面展开深入研究。
在立体化重构技术方面，中国提出了高标准的建设任务，如在国家层面完成覆盖全国陆地及主要岛屿的10 m和5 m格网数字高程模型、数字表面模型制作，以及2 m和优于1 m分辨率数字正射影像制作。目标的实现将使中国地形级实景三维产品达到国际领先水平。同时，覆盖大面积地区的地形级产品需要各界协同发力，形成国家和省市县之间的资源整合，打造经济高效的服务体系。多层级地形级产品之间需进行有机衔接，较高分辨率产品可借助低分辨率地形框架基础，并反哺地形修补，实现统一设计和分级建设相结合的“全国一盘棋”格局。
在城市实景三维建设方面，为实现精确真实的模型构建，利用无人机和街景数据是目前常用的方法。然而，此类数据通常覆盖面小，对整个城市的实景三维模型构建会存在数据匹配错误、效率偏低的问题。因此，多源数据的多模式融合方法起到至关重要作用。如图10所示，可以将航空或卫星影像生成的三维模型作为基础，在质量不合格的区域通过无人机数据和街景数据进行修补，达到互补与互增强的效果。对于部件级实景三维产品，其高精细化要求对智能化算法设计和性能是一大考验。当前的研究成果还未达到部件三维模型的指标，对部件的建模通常还停留在外表结构，无法满足实际生产需求。对于实体数据的精细表达，还需进一步完善细粒度结构，丰富几何属性和语义关系等方面的内容，从而真正实现与现实世界保持一致的数字模型。另外，高精细度会增加平台设备计算和存储压力。为构建有效的实景三维模型，既能满足精细化需求，又能最大限度地减少计算和存储资源，可基于尺度变换实现实体信息提取，以基元实体为基础派生形成不同细粒度的数据表达。
在真实化描述技术方面，当前建设重点在于提高实景三维产品感知信息融合能力。物联感知数据由于其海量性和易获取性的特点，可用于实时更新实景三维模型信息，并借助三维可视化平台进行有效的时空模拟，可在交通管理、灾害监测等多个方面发挥重要作用。通过传感器、机器人等物联网智能设备的实时感知和信息传输，相关人员可通过处理平台关联融合多源时空大数据，实现高效准确的科学决策。同时，结合不同的业务场景，物联数据可借助实景三维平台构建专题化产品，链接社会、人文、经济等领域发展。但同时需要关注物联数据在可管理性、统一性、安全性等方面的问题，构建安全可靠的数据管理系统。我国在《物联网基础安全标准体系建设指南（2021 版）》中明确了物联网关键基础环节的安全要求，从总体安全、终端安全、网关安全、平台安全、安全管理五大方面构建了物联网基础安全标准体系。在物联感知数据接入实景三维平台过程中，需要保证平台和数据之间的安全信息协同和认证。中国人口规模巨大、产业结构完备，在物联感知数据规模和分析方面具有天然优势。充分利用海量数据，在实景产品基础上构建丰富的应用场景，可使之在中国数字化发展中发挥重要作用。
在实体化建模方面，当前研究在三维产品部件结构分类技术上主要聚焦于某一特定任务，适用范围小，这也导致当前数据处理自动化率较低，仍需大量人工工作。为达成全国范围的城市级实景三维统一建设目标，可借助弱监督、自监督、迁移学习等高级人工智能方法，融合不同区域的地物分布特点，建立通用完善的数据处理体系。同时，需实现实体数据属性、关系的标准化生产，兼顾4D数据及多元时空数据的统一管理。一方面，当前相关具体应用尚未成熟，后续需进一步挖掘服务前景，借助城市数字底座开展广泛的产品研究，使城市实景三维真正运用于经济发展和产业升级中；另一方面，为构建统一的数据管理平台，处理地理数据的格式规范、时效性、容量限制等问题是一大难点，而统一的数据规划有助于实现高效的管理和更新。另外，随着平台的完善，各项智慧城市、地理信息服务等应用需要依赖构建的实景三维模型，对数据传输、智能计算会造成巨大的负荷。因此，搭建平台边缘计算和云计算协同能力至关重要，通过平台与终端的连接有效利用计算资源。当前，中国大量实景三维相关企业已构建三维产品云计算平台，可为用户提供大范围区域的实景三维产品服务。同时，边缘计算能力同样至关重要，国内企业如华为、腾讯等也推出了相关服务，将云计算能力拓展至用户终端。在实景三维方面，相关产品通常包含海量数据，如何在国家和地方层面依托云计算能力构建统一的管理和服务平台是需要考虑的问题。
本文根据第24届国际摄影测量与遥感大会内容，总结了全世界范围内在实景三维领域的最新进展，并从立体化重构、真实化描述、实体化建模的实景三维技术层面进行了具体分析。总的来说，现有技术可以较好地支撑实景三维建设。在产品内容方面，涌现了大量创新的智能算法支撑地形级、城市级到部件级的实景三维模型构建。同时，实景三维产品在各项具体应用中发挥了重要作用，体现了实景三维建设的重要性。
当前，中国在实景三维建设方面已走在世界前列，特别在智能算法研发上处于领先地位。同时，完善的基础建设和政策支持将更好地助力实景三维中国建设。但是，面向《技术大纲》提出的建设指标，当前国际上的产品还普遍存在稳定性较弱、功能有限、难以实用等问题。未来需继续升级数据获取手段和研发智能算法，实现软硬件协同发展升级，打造数据–信息–知识的多层级一体化产品。同时，为了更好地实现建设目标，在智能算法迭代优化、数据规范管理、计算存储资源有效利用等方面可以做进一步的研究。算法的迭代优化有助于生产更精准的实景三维产品，这也是科研人员主要的研究方向。在数据规范管理和计算存储资源有效利用方面，则需要科研单位、企业和相关部门的共同协作，建设高效统一的产品数据标准，充分发挥云计算和边缘计算的协同作用，最终打造统一的实景三维平台以有效地服务于各个行业及各项应用。
实景三维数据描述了现实世界的多维动态特征，为自然资源管理和国家数字化发展提供重要的应用场景和数据支撑，支撑社会、经济、政府等各方面的发展建设需要。面对实景三维时空应用需求，中国在数据规模、技术广度、政策灵活性方面具有优势。可以预见，实景三维建设将助推中国的数字化建设达到国际领先，并向世界提供“中国方案”。
初审：张 琳 复审：宋启凡
终审：金 君
往期推荐
资讯
