重庆交通大学智慧城市学院马威副教授:桥梁实景三维高斯辐射场建模 |《测绘学报》2024年53卷第9期

学术   2024-11-06 10:46   北京  

本文内容来源于《测绘学报》2024年第9期(审图号GS京(2024)1896号)

桥梁实景三维高斯辐射场建模

马威,1,2,3涂强1潘建平,1,2,3赵立都1涂伟4,5,6,7李清泉4,5,6,7

1.重庆交通大学智慧城市学院,重庆 400074

2.自然资源部国土空间规划监测评估预警重点实验室,重庆 400074

3.自然资源部智能城市时空信息与装备工程技术创新中心,重庆 401121

4.深圳大学建筑与城市规划学院城市空间信息工程系,广东 深圳 518060

5.空间信息智能感知与服务深圳市重点实验室,广东 深圳 518060

6.广东省城市空间信息工程重点实验室,广东 深圳 518060

7.自然资源部大湾区地理环境监测重点实验室,广东 深圳 518060

基金项目

自然资源部国土空间规划监测评估预警重点实验室开放基金资助项目(LMEE-KF2023004); 自然资源部智能城市时空信息与装备工程技术创新中心开放基金(STIEIC-KF202305); 国家自然科学青年基金(42001324); 重庆市教育委员会科学技术研究项目(KJQN202200744); 重庆市自然科学基金(cstc2021jcyj-msxmX1147); 宁夏回族自治区重点研发计划(2022CMG02014); 重庆市研究生联合培养基地建设项目(JDLHPYJD2019004)

摘要

实景三维和数字孪生已成为桥梁运维和管理的重要基础,然而面对桥梁的复杂几何结构,现有三维建模方法存在原始数据采集量大、建模效率低、模型细节缺失或变形等问题。对此,本文研究了一种基于3D高斯辐射场的桥梁实景三维重建方法。利用3D高斯函数对采集图像生成的稀疏点云构建高斯辐射场,并基于随机梯度下降对辐射场参数进行自适应优化,通过可微光栅渲染对三维模型进行实时可视化,从而实现高质量桥梁三维重建和渲染。试验探讨了不同图像分辨率,以及各项参数变化对桥梁建模的影响,并与传统方法作对比,为进一步针对桥梁的应用提供理论和技术支撑,推动桥梁复杂结构的高效、准确实景三维重建。

关键词

 3D高斯辐射场桥梁实景三维重建随机梯度下降可微光栅渲染

作者简介

马威(1987—),男,博士,副教授,研究方向为智能测绘与场景感知、视觉三维重建、地理增强现实。E-mail:weima@cqjtu.edu.cn


本文引用格式

马威, 涂强, 潘建平, 赵立都, 涂伟, 李清泉. 桥梁实景三维高斯辐射场建模[J]. 测绘学报, 2024, 53(9): 1694-1705 doi:10.11947/j.AGCS.2024.20240071

MA Wei, TU Qiang, PAN Jianping, ZHAO Lidu, TU Wei, LI Qingquan. 3D Gaussian radiation field modeling for real-scene bridges[J]. Acta Geodaetica et Cartographica Sinica, 2024, 53(9): 1694-1705 doi:10.11947/j.AGCS.2024.20240071

阅读全文

http://xb.chinasmp.com/article/2024/1001-1595/1001-1595-2024-09-1694.shtml

桥梁是重要的交通基础设施,如何智能化、智慧化地进行管理,保障桥梁在整个生命周期安全运行,一直是个焦点问题[1]。实景三维、数字孪生的发展和普及,为桥梁的建造、养护、运营提供了有力的技术支撑[2]。相比CAD、BIM、GIS等数字表达模式,数字孪生模型通过以虚控实,有助于形成整个桥梁系统管理的最优化目标,能够更准确地诊断、更好地短期预测,有效改善系统内各要素之间的互动。目前,三维建模方法发展迅速,推动了数字孪生的应用。然而,由于桥梁几何结构的复杂性,现有面向桥梁的建模方法仍存在一些困难,如三维模型存在孔洞及变形、原始数据采集量大,建模效率低、易出现纹理信息缺失等[3-4]

实景三维模型构建是数字孪生的数据基础,现有桥梁建模方法主要分为基于无人机倾斜影像方法和基于激光雷达(light detection and ranging, LiDAR)方法。基于无人机倾斜影像一般是通过空中三角测量和影像密集匹配[5],然后构建场景稠密点云,从而实现桥梁的三维重建[6-9],但生成的三维模型存在局部拉花、空洞的现象。文献[10]提出了一种优视摄影测量方法,以密集采样的初始视点为参考,约束候选影像视点的选择,形成优飞行路径,在保证模型精度的同时实现影像数据采集最小化。文献[11]提出了一种基于影像分组和顾及地形结构的自适应物方面元多视立体匹配方法,结合顾及平面和边界结构特征的三维重建方法,从而提升三维模型精度。文献[12]利用运动恢复结构(structure from motion, SfM)[13]匹配图像特征,然后通过光束法平差计算三维点坐标和相机位姿。文献[14]提出一种基于建筑信息模型的三维路径规划方法,通过优化无人机飞行计划来提高摄影测量桥梁模型的质量。基于无人机影像的三维建模方法成本较低、灵活性高。然而,倾斜影像普遍存在几何变形大、色差大、地物遮挡等问题,尤其面对桥梁的复杂结构,易出现模型不平整、棱角不突出、空洞等现象。

基于LiDAR方法是通过LiDAR获取高精度三维点云数据,从而对桥梁进行目标提取和三维重建。文献[15]采集和提取立交桥点云数据,然后将复杂桥梁结构分割成多个简单区段,最后通过轮廓确定约束边进行三角网构建,但在遮挡情况下三维重建效果依然有限。文献[16]利用遥感影像获取桥梁的轮廓,并对遮挡处点云进行曲面拟合,融合LiDAR点云和遥感影像从而修复断裂桥面结构。文献[17]提出了一种基于先验知识的桥梁建模方法,根据桥梁元素之间的几何关系模拟不同类型的桥梁结构,首先,通过聚类将输入点云分割;然后,将每个元素的投影为2D模型,并挤压到三维空间创建桥梁元素的3D模型;最后,将单个元素合并形成桥梁3D模型。机载LiDAR能够快速、准确地获取桥梁三维点云,然而LiDAR数据采集设备相对昂贵,原始数据量大,建模过程复杂。在纹理获取方面,面对复杂桥梁结构往往需要结合影像数据进行人工辅助。

近年来,基于神经辐射场(neural radiance fields, NeRF)的三维重建方法逐渐崭露头角[18-23]。不同于点云、三角网类的显式几何模型,NeRF是一种神经隐式几何模式,选取空间坐标作为采样点输入,通过多层感知机(multilayer perceptron, MLP)输出空间点的颜色、几何密度,再将光线上的一系列采样点加权积进行渲染得到像素颜色,从而完成三维重建。传统以几何结构约束图像重投影的视觉三维建模方式,难以应对遮挡区域的模型缺失和变形问题。而NeRF以图像序列和姿态作为监督,能够有效输出新视角的颜色或格网,灵活地适应各种复杂区域。虽然原始NeRF方法对三维场景具有很高的渲染质量,但存在难以训练室外大场景模型,且渲染时间过长。NeRF++针对室外无界场景重建率先提出反球面单位化法,将主要重建场景置于单位球体内部,椭球外部则通过将距离R参数化为1/R,从而优化了室外场景重建模糊的问题[24]。Mega-NeRF沿用了NeRF++的策略并针对训练大场景问题做出了相应改进,将场景划分成单独的区域并使用独立的NeRF进行学习[25]。Instant-NGP针对训练速度问题引入了多分辨率网格的哈希编码来替换原始NeRF的位置编码,通过将场景建模为不同分辨率的网格,并保持射线采样和点采样的准则不变,将落入网格内的采样点编码为可训练特征向量的哈希表索引。利用更小的神经网络,实现了训练和渲染的加速,但依然难以解决室外大场景训练的问题[26]。3D Gaussian Splatting技术利用高斯函数和稀疏点云数据对场景进行建模,将三维信息转化为高斯函数的形式进行室外大场景模型的重建并实现了实时渲染[27-29]。其改进算法Mip-Splatting针对较低分辨率及较远相机位姿的问题提出利用不同尺度的高斯椭球来表示同一场景,在呈现模型时控制高斯椭球的大小以提升渲染速度和模型质量[30]。DoGaussian针对大场景重建首先提出将待重建场景分解为多个相交区域,然后通过交替方向乘子法(alternating direction method of multipliers)对区域进行分布式训练,并通过共享不同区域的高斯特征以确保全局高斯的稳定性[31]。3D Gaussian Splatting技术及其改进算法为桥梁这类复杂几何结构的三维建模提供了思路。

本文将3D高斯辐射场引入桥梁三维重建并验证方法的可行性。首先,利用结构运动估计恢复相机位姿并获取稀疏点云;然后,以几何点为中心向外扩展3D高斯辐射场来模拟三维场景,其中通过协方差矩阵实现高斯辐射场的各向异性,将显示表达和隐式表达相结合,从而在训练和渲染时间较低的情况下获得高质量的桥梁重建效果。试验验证,相比于传统图像序列桥梁建模,本文方法在三维模型表达上更加真实,且训练后的3D高斯辐射场具有一定场景预测能力,在相机视角重叠较低或遮挡的情况下依然能够保证场景的重建效果。

1 基于3D高斯辐射场的桥梁三维重建方法

1.1 方法概述

基于3D高斯辐射场的桥梁三维重建流程如图1所示,主要可分为3个部分:3D高斯辐射场构建、随机梯度下降优化(stochastic gradient descent, SGD)及可微光栅渲染。首先,利用SfM对无人机采集的桥梁影像提取稀疏点云和相机位姿,再以几何特征点为中心构建3D高斯辐射场,并通过协方差矩阵控制各向异性;然后,构建损失函数迭代优化3D高斯辐射场中的各项参数,以场景的拟合程度分化或克隆高斯场,从而实现对3D高斯辐射场的自适应密度控制,获得高质量三维重建场景;最后,利用可微光栅渲染将三维场景实时可视化。

图1

图1   基于3D高斯辐射场的桥梁三维重建方法

Fig.1   3D bridges reconstruction based on 3D Gaussian radiation field


1.2 3D高斯辐射场构建

传统三维重建方法主要通过点云、网格等方法实现三维场景重建,渲染速度快,但在呈现场景细节时略显不足。全隐式三维重建方法具有出色的场景表现能力,但需要耗费大量时间用于训练和渲染。为兼顾两者的优势,引入以3D点为中心向外延伸特定连续区域构建高斯辐射场的方法重建三维场景。

1.2.1 基于三维高斯函数的辐射场构建

首先,将无人机采集的桥梁影像作为输入,通过SfM进行稀疏点云提取和相机位姿优化;然后,以几何特征点为中心构建3D高斯辐射场。3D高斯辐射场是以三维高斯函数构建椭圆为几何框架,三维高斯函数概率密度在中心位置达到最高值,离中心点越远概率密度逐步衰减,因此三维高斯分布拟合辐射场可以更好地捕捉点云细节。此外,三维高斯分布能够较好地拟合复杂区域,保证三维场景细节的精确表达。

三维高斯分布的性质与一维高斯分布类似,在一维高斯分布中期望决定高斯分布的位置,标准差决定高斯分布的形状。若随机变量X~(μ,σ2),则其概率密度函数为

  (1)

式中,μ为期望;σ为标准差。

若将自变量拓展到三维,则其概率密度函数为

 (2)

式中,Sxμ均为列向量

      (3)

向量μ为质心,协方差矩阵Σ

       (4)

则三元高斯分布记作

          (5)

三元高斯分布S的概率密度函数是以(μx,μy,μz)为中心的椭球。

由于3D高斯辐射场只需要向中心点外辐射一定距离,因此将三元高斯概率密度函数的尺度系数删除,并将置为零向量,则有3D高斯辐射场拟合函数

      (6)

通过式(6)可将几何特征点拟合为球体,但三维建模仍需调整球体的几何形态,从而拟合各类复杂实景,因此进一步通过协方差矩阵控制球体的各向异性。

1.2.2 协方差矩阵与辐射场参数

三元高斯分布中通过调整协方差矩阵Σ实现对函数的旋转和缩放控制,获得3D高斯辐射场的各向异性。由式(4)可知协方差矩阵Σ是实对称矩阵,将Σ相似对角化

           (7)

式中,U是正交矩阵;Λ是对角矩阵。将Λ进行拆分可得

 (8)

合并为A

              (9)

由于3D高斯辐射场与椭圆同构,因此通过缩放和旋转对3D高斯辐射场进行塑造。将3D高斯辐射场先缩放再平移,则其对应三元高斯分布协方差矩阵为

 (10)

式中,R为旋转矩阵;S为缩放矩阵。因此,式(9)中A=RS。设稀疏点云模型中某点坐标为,以该点为中心构建辐射场。通过协方差矩阵Σ调整辐射场的形状后,向辐射场中存放球谐系数SH、不透明度α以表示被拟合区域的特征。其中球谐函数是一组正交函数,定义在单位球面上,用于描述球面上的函数分布。在光照或反射建模中,通过对颜色值在球面上不同方向的投影进行球谐函数系数的计算,捕捉光照方向的变化。球谐系数SH反映在不同方向上的光照或反射分量的强度和分布。将球谐系数SH存放于3D高斯辐射场内并辅以不透明度α从而反映辐射场投影在图像上的颜色值。

3D高斯辐射构建完成后,通过构建损失函数进一步优化3D高斯辐射场中的参数,从而不断完善三维模型。

1.3 损失函数构建与自适应优化

为优化3D高斯辐射场的参数,损失函数融合结构相似性误差,以及渲染图像和真实相片之间的光度误差,将两者按比例相加。Loss损失函数可表示为

  (11)

式中,λ是比例系数;L1为渲染图像与真实相片之间的光度误差;LD-SSIM为结构相似性误差。结构相似性误差是检测重建图像与原图像相似性的误差,从亮度、对比度和结构3个维度去衡量图片的相似性,有助于表达三维场景的结构信息。

在基于渲染的反向优化过程中,采用随机梯度下降法对位置、不透明度α、协方差矩阵Σ和球谐系数SH进行优化并对3D高斯辐射场自适应密度控制。随机梯度下降法每次迭代时是从训练数据中随机选择一个样本,沿着损失函数梯度的反方向进行模型参数更新,使损失函数最小化。

由于初始3D高斯辐射场是基于稀疏点云模型进行外扩,很难拟合复杂区域,易产生空洞,对于较小的物体则会出现过度重建。因此,需要调整3D高斯辐射场的大小和数量。在优化迭代过程中,如图2所示,对于欠重建的区域需要将3D高斯辐射场克隆并沿着梯度方向将其移动,对于过度重建的区域需要将3D高斯辐射场进行分割并沿着梯度方向将其移动,对于透明度较低的3D高斯辐射场则直接将其删除,从而实现自适应密度控制。

图2

图2   自适应密度控制

Fig.2   Adaptive density control

通过不断优化3D高斯辐射场的参数和密度,生成高精度三维模型。参数优化完成后,通过可微光栅渲染对图像进行渲染,从而将三维模型可视化。

1.4 可微光栅渲染

可微光栅化是一种具有微分性质的渲染过程,包括正向和逆向两个关键阶段。在正向过程中,类似于传统渲染,系统接收输入的三维场景模型和相关参数,通过光栅化等技术生成最终的二维渲染图像。逆向过程则是对输入场景参数的微分求导,使得渲染结果对于输入参数的变化具有可感知的梯度信息。这种双向性能够直接获得输入参数的梯度信息,从而进行端到端的训练。针对3D高斯辐射场的渲染方法与传统光栅渲染不同,该方法不限制高斯椭球的数量,而是通过分割渲染区域的方式来限制内存的开销,从而增强对场景的拟合能力[32]

在进行渲染之前将三维模型投影为2D场景,为保证渲染的实时性首先对三维模型进行了预处理:

(1)将投影区域划分成16×16个矩形区域;

(2)判断3D高斯模型是否在小块所代表的视锥体内;

(3)将3D高斯模型投影到2D图像中

(12)

式中,J是投影变换的仿射近似雅可比矩阵(Jacobian matrix);W是视角方向的变换矩阵;Σ,是像方坐标系下的协方差矩阵;

(4)计算二维平面空间像素覆盖范围;

(5)计算和存储球谐系数、深度及不透明度。

数据预处理完成后进行实时渲染,首先,为每个矩形区域分配一个线程,做数据并行加快渲染速度,并将用于跟踪渲染数据的变量初始化,包括不透明度α、颜色值、辐射场所贡献的像素数等;然后,遍历当前像素,通过空间中的点与当前像素距离基于协方差矩阵进行采样,从而计算其颜色值和不透明度,更新模型参数,图3显示了渲染图片椭圆可视化的效果;最后,通过可微光栅渲染将训练得到的高精度模型进行实时可视化。

图3

图3   高斯椭圆可视化

Fig.3   Gaussian ellipse visualization


2 试验与分析

为验证基于3D高斯辐射场桥梁实景三维重建方法,本文以重庆市白沙沱长江大桥和涪陵乌江二桥为试验对象,利用无人机摄影采集桥梁影像数据,进行三维重建。白沙沱长江大桥作为主要试验桥梁是位于重庆市长江白沙沱河段的斜拉桥,主桥全长918 m,由主桥、桥塔、斜拉索、桁架等组成。主桥为双塔双桁双索面结构,2号墩塔高171.45 m, 3号墩塔高188.45 m,采用六线铁路钢桁梁斜拉桥设计,分上下两层,上层用于四线客车,下层用于双线货车。主桥路段呈西北-东南方向,与白沙沱长江铁路大桥相距约100 m。其结构包括两片主桁、直桁、双塔双索面、半漂浮体系,塔墩固结,塔梁分离。涪陵乌江二桥位于重庆市涪陵区,连接涪陵区江东开发区与主城区,由主桥、两岸引桥、两座桥塔、斜拉索、螺旋匝道及引道组成;主桥呈东北至西南方向。

2.1 试验准备

试验采用大疆精灵Phantom 4无人机在空中不同视角对大桥进行拍摄,由于大桥限高无法布设航带,数据采集过程由人工操作完成。白沙沱长江大桥数据采集无人机航高为90~120 m,左侧航向重叠度较高,约为90%,右侧航向重叠度较低,为60%~70%,共采集试验数据180张分辨率为5472×3648像素的照片,涪陵乌江二桥数据采集时航高设定在200 m,航带由系统自动布置,共采集238张分辨率为5472×3648像素的照片,相机位姿如图4所示。此外,三维重建过程的硬件设备采用CPU为AMD EPYC 7542、GPU为RTX-4090、内存为64 GB的服务器。为更好地探究3D高斯辐射场的质量与效率,对式(11)中的Loss函数的比例系数λ的最佳值进行测定。测试试验全部数据集参与训练并以30 000次迭代为准,评价指标包括:①峰值信噪比(peak signal-to-noise ratio, PSNR),用于衡量一张带有噪声的图片和无噪声图片之间的差异,值越大代表图像噪声越少;②结构相似性(structural similarity, SSIM),用于衡量两张图片之间的相似程度,值越大代表两张图片越相似;③学习感知图块相似度(learned perceptual image patch similarity, LPIPS),用图像的深度特征来衡量两张图片的相似度,值越小代表两张图片越相似。当λ取0.2时峰值信噪比(PSNR)结构相似性(SSIM)的值最高,学习感知图块相似度(LPIPS)效果好于平均值,考虑到结构相似性(SSIM)在本文试验中相对重要,后续将以0.2作为比例系数λ的值参与试验,见表1

图4

图4   无人机相机位姿

Fig.4   Camera pose of UAV

表1   比例系数与评价指标

Tab.1  Scaling factor and evaluation metrics

λPSNR↑SSIM↑LPIPS↓
027.1540.8150.363
0.127.7750.8370.324
0.227.9080.8430.310
0.327.8920.8410.306
0.427.6710.8410.303
0.527.6590.8400.300
0.627.2780.8350.301
0.727.1180.8310.302
0.827.0470.8310.301
0.926.8660.8290.302
1.026.2480.8220.305

注:↑表示数值越大越优;↓表示数值越小越优。


新窗口打开下载CSV


2.2 试验分析

为评价3D高斯辐射场桥梁实景三维重建效果,分别对倾斜摄影软件(Context Capture Center Master, CCMaster)和本文方法重建的三维模型进行渲染,并通过控制相片重叠度和图像分辨率定性分析两种方法的桥梁模型渲染质量。此外,为验证基于3D高斯辐射场桥梁实景三维重建方法的效率,试验将训练次数作为变量,对场景进行多次重建对比,从而定量分析高斯模型重建的效率与质量的关系。

2.2.1 定性分析

试验将无人机倾斜影像作为输入,使用Colmap软件提取稀疏点云模型及相机位姿。分别采用传统三维重建渲染方法和基于3D高斯辐射场的三维重建渲染方法对模型进行比较。如图5所示,第1行和第2行分别为利用CCMaster和本文方法。图片重叠度较高时(约为90%,共109张图像), CCMaster与本文方法都能完成桥面的重建渲染,但在渲染细节方面本文方法表现明显更具优势。如图6所示,本文方法渲染模型能够清晰表达出桥梁的双层结构,透过桥身缝隙可以观察到江面与地面。

图5

图5   CCMaster与3D高斯辐射场重建效果对比(重叠度较高侧)

Fig.5   CCMaster and 3D Gaussian splatting reconstruction comparison (high degree of overlap)


图6

图6   CCMaster与3D高斯辐射场重建细节对比

Fig.6   CCMaster and 3D Gaussian splatting reconstruction detail comparison


图6(a)中红色矩形框中,CCMaster重建的模型下层轨道与顶部粘连导致下层轨道发生形变,且桥身钢结构重建出现错误纹理。而本文方法则将桥梁下层轨道纹理清晰地重建渲染出来,且与其周围的钢结构纹理分明。图6(b)红色矩形框中,CCMaster模型桥身钢结构与江面混合,无法分清其几何形态,而本文方法依然能清晰分辨出桥身结构。图6(c)红色矩形框中,CCMaster所重建的模型桥梁部分区域出现空洞,且并未将桥上路灯完全展现出来,本文方法重建渲染场景清晰连贯,且对电杆等细小的物体重建渲染能力也较强。

当图片重叠度较低时(约为60%~70%,共39张图像),如图7所示,本文方法依然能够较好地完成场景重建渲染工作,而CCMaster错误地将江面的纹理映射在桥面上,导致重建结果出现大面积结构性错误,模型的完整性、准确性和清晰度都非常低。

图7

图7   CCMaster与3D高斯辐射场重建效果对比(图像重叠度较低侧)

Fig.7   CCMaster and 3D Gaussian splatting reconstruction comparison (low degree of overlap)


为探讨不同分辨率对桥梁重建方法的影响,试验将180张分辨率为5472×3648像素的照片分别进行2倍下采样(2736×1824像素)、4倍下采样(1368×912像素)、8倍下采样(684×456像素),并使用两种方法建模比较。如图8所示,本文方法随着分辨率下降钢索、路灯等细微物体逐渐模糊,但受影响程度较小,依旧保持良好的模型渲染质量。传统方法随着分辨率降低钢索明显出现粘连现象加剧,尤其在钢索上端缺失较为明显。

图8

图8   CCMaster与3D高斯辐射场不同分辨率重建对比

Fig.8   CCMaster and 3D Gaussian irradiation field reconstruction at different resolutions comparison


由于CCMaster软件重建结果以三维方式显示,而本文方法三维重建结果通过渲染重叠的高斯椭球获得,为使两者可以更为直观的对比,本文采用SuGaR (surface-aligned Gaussian splatting for efficient 3D mesh reconstruction and high-quality mesh rendering)算法将本文方法所重建模型Mesh化并与CCMaster软件重建结果进行对比,并分别对两组试验数据进行分析。

白沙沱长江大桥试验结果如图9所示,虽然经过Mesh转化导致本文方法细节缺失,但模型整体优于传统方法。从细节上来看,Mesh化后的三维模型桥身钢结构清晰未发生扭曲现象。

图9

图9   CCMaster与3D高斯辐射场Mesh化后对比

Fig.9   Comparing CCMaster and 3D Gaussian radiation field after meshing


涪陵乌江二桥试验结果如图10所示,传统方法所重建的桥梁三维模型位置发生明显偏移,桥梁结构出现较为严重的错误,而高斯模型通过Mesh化后也出现了一定的结构缺失,但总体结构较为完整。

图10

图10   CCMaster与3D高斯辐射场Mesh化后对比

Fig.10   Comparing CCMaster and 3D Gaussian radiation field after meshing


2.2.2 重建效率与场景质量评价

试验通过控制3D高斯辐射场中参数的迭代次数探讨高斯模型重建时间与质量之间的关系。试验将迭代次数分别设置为6000、12 000、18 000、24 000、30 000、36 000次,然后对模型质量进行评估。将数据集随机划分为训练集148张图片,测试集22张图片,测试集不参与训练,旨在评估时作为真实场景计算评价指标。

表2可知,在0~24 000次迭代过程中对模型质量提升较为显著,24 000~30 000次迭代过程中图像质量有所提升,但并不显著,30 000~36 000次迭代过程中PSNR有微小的降低,SSIM、LPIPS并基本保持不变。训练时间随迭代次数增加而不断增加,除0~6000次迭代过程仅耗费3 min 8 s,其余每6000次迭代所耗费的时间5 min 30 s左右,训练出高质量模型所需时间为23 min 18 s。由于优化过程采用随机梯度下降法,Loss浮动较为明显,但总体呈下降趋势。为更好地探究3D高斯辐射场的质量与时间的关系,将试验迭代次数扩大至100 000次,并研究Loss浮动趋势。在前20 000次训练过程中出现过多次Loss值骤升,模型质量不稳定。在20 000~40 000次训练过程中Loss值呈现较稳定的下降趋势,并且下降幅度逐渐减少。40 000~100 000次训练过程中Loss基本趋于平稳。

表2   迭代次数与评价指标

Tab.2  Iteration count and evaluation metrics

迭代次数PSNR↑SSIM↑LPIPS↓训练时间Loss
600024.1970.7470.4593 min 8 s0.079
12 00025.7100.7940.3897 min 32 s0.047
18 00026.3380.8130.35913 min 1 s0.048
24 00026.9160.8200.34718 min 28 s0.039
30 00027.4540.8240.33923 min 18 s0.041
36 00027.3490.8240.33928 min 45 s0.038

注:↑表示数值越大越优;↓表示数值越小越优。


新窗口打开下载CSV


图11所示,将3D高斯辐射场不同迭代次数所生成的三维模型进行渲染,随机挑选5组不同视角进行对比,对于较为简单的结构,如桥身钢结构、桥墩、轨道等,在24 000次迭代时基本能较好地进行重建,对于较为复杂的结构如钢索、江面反光等需要更多次数的迭代以获得高质量高斯模型。通过分析,迭代次数设置为24 000次或30 000次可保证在较短时间内获得较高质量的高斯模型。

图11

图11   不同迭代次数重建结果

Fig.11   Reconstructed results with varying iteration counts


3 结语

本文研究了一种面向桥梁复杂结构的3D高斯辐射场实景三维重建方法,以3D高斯椭球为几何框架,构建融合结构相似性误差的损失函数,并基于随机梯度下降对辐射场参数进行自适应优化,通过可微光栅渲染对三维模型可视化。相较传统倾斜摄影三维重建方法,基于3D高斯辐射场的三维重建方法能够在较低图像重叠率下完成高质量重建,一定程度降低了原始数据采集量。此外,面对桥梁的复杂结构,训练后的3D高斯辐射场具有一定场景预测能力,在遮挡时不仅可以保证场景的重建效果,且对桥梁细节表现力更强。试验主要探讨和分析了3D高斯辐射场在桥梁建模的可行性,以及各项指标对桥梁建模的影响,为进一步针对桥梁的应用提供理论和技术支撑。在此基础上,未来工作将面向智能化、数字化桥梁对现有方法进行合理的改进。



初审:陈品馨
复审:宋启凡
终审:金   君

往期推荐

资讯


○ 武汉大学测绘学院赵胤植博士:隧道环境下毫米波雷达多机联合毫米级定位方法 |《测绘学报》2024年53卷第9期
○ 招聘 | 莫干山地信实验室,“职”等你来(2024年第二批)
○ 先睹为快!这些单位出席同济大学2025届毕业生秋季就业招聘双选会~
○ 招聘信息 | 西安地图出版社有限公司2024年下半年工作人员招聘公告
○ 地学招聘 | 中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室招收客座研究生2~3名


智绘科服
更具学术格局的自然资源传媒
 最新文章