《现代电影技术》｜低光照环境下全景拍摄系统设计与应用

本文刊发于《现代电影技术》2024年第2期

作 者 简 介

韩　叙

韩叙（1987-），男，硕士，北京天文馆高级工程师，主要研究方向：沉浸式内容制作。

宋宇莹（1978-），男，硕士，北京天文馆研究员，主要研究方向：沉浸式内容创作。

宋宇莹

近年来，随着虚拟现实（Virtual Reality, VR）技术的提升和相关设备不断普及，用户在VR中能体验到超大的视野范围，仿佛置身其中，极具真实感、沉浸感和可交互性^[1][2]。当前，在VR设备中播放全景影像是最简单、最直接的展示方式^[3]。全景影像是定义在包含360°×180°视野范围的球面上，能够全覆盖用户观看所有视角的图像，我们将其投影到2D平面，多以等距柱状投影方式展示^[4]。全景影像应用广泛，除了在VR设备中，还可以通过变形在球幕剧场里、在主流视频播放平台上直接观看，因此，制作全景影像的需求量不断提升。

目前市场上有多种全景拍摄方案可以得到全景影像，按拍摄相机数量的多少，可以分为两类：一种是单相机旋转拍摄方案，另一种是多相机组合拍摄方案。单相机方案由一台相机配合全景旋转云台使用，每次旋转一周拍摄若干张图像拼接获得一张全景图像，既可以使用诸如大疆灵眸Osmo^[5]等云台产品配合手机拍摄，也可以使用如曼富图MHPANOVR^[6]等全景云台配合全画幅相机使用。该方案可有效避免图片之间视差现象的存在，虽然操作步骤相对复杂，但是更换相机镜头便捷，灵活性高，并可以获得较高质量的全景图像。多相机方案通过多个朝向不同方位的摄像头同时拍摄，拼接获得全景图像。该方案在消费级市场已有许多成熟产品，如一体式全景拍摄产品影石Insta360 Pro^[7]、Kandao Obsidian Pro^[8]等，也有Freedom 360全景云台配合5个GoPro HERO运动相机^[9]的可拆卸方案，他们将多个小尺寸画幅运动相机组合，方便用户携带。这种全景相机的方案简单易用，可以输出全景图像和全景视频^[10]，满足制作全景影像主要应用场景。

低光照（Low⁃Light）环境指所拍摄环境的光照度较低的场景^[11]。如表1所示了不同环境下的光照度参考范围值，相较于晴天、阴天等正常光照环境，傍晚、夜间等低光照环境的光照度大幅下降，尤其在以夜间星空为内容主体的拍摄环境中，避开光污染等干扰下，星光的光照度极低，几乎趋近于0。光线在摄影成像过程中有着非常基础性的作用，当光照度降低时，所拍摄的影像会产生噪点高、颜色失真、对比度低等图像退化问题^[12]。因此，在低光照环境下，为了获得良好的影像质量，就需要收集更多的光线，通常在拍摄时采用增加光通量、延长曝光时间、提高设备感光度等方法^[13]。

表1　不同环境下参考光照度范围

近年来，随着天文科普沉浸式电影的发展，低光照环境下的全景拍摄需求不断增多，但相比于街景旅游、文化艺术^[14][15]等正常光照环境的拍摄，全景拍摄仍属小众需求。要想在低光照环境下获得高质量影像，对相机镜头的要求很高，目前消费级全景相机很难兼顾这一领域，国内外鲜有系统的研究论述和应用实践。因此，本文结合上述两种方案的优点，拟设计一种使用多个全画幅相机组合拍摄的方案，以满足低光照环境下拍摄高质量全景影像的需求。

低光照环境下，需要使用全画幅相机来保障在高感光度下的成像质量，但采用单个相机环绕拍摄会遇到使用场景受限等问题。本文采用通过多个全画幅相机同时向不同角度拍摄图像，再通过后期拼接的方法来制作全景图像。图像拼接技术是将一组拍摄于同一场景、不同位置的图像，通过对其中重叠区域进行特征匹配、对齐、投影、融合等操作处理，获得一张视角范围更大、分辨率更高的全景图像的过程^[16]。从理论上讲，使用多个相机组成的全景拍摄系统方案中相机数量越多，得到的全景影像分辨率越高，画质越佳，整体效果更好。但随着相机数量增多，也同时存在诸如多相机间视差、系统整体灵活性不足、便携性差等制约性问题。

2.1 多相机间视差问题

虽然目前图像拼接技术已经日臻成熟，可以快速地完成多张图像的全景拼接工作，但要想完成高质量的图像拼接效果，需要在拍摄多张待拼接图像时，使相机的光学中心（光心）在同一点上或者无限接近，因为这样得到的图像在重叠区域没有深度上的变换，在拼接时所有图像几乎在一个平面上，拼接效果最好。如果拍摄时相机无法保证围绕光心点，则不同图像中的相同物体会存在位置上的差异，这被称作视差现象^[17]。该现象会降低图像特征点识别匹配、图像融合等算法的准确度，导致最终生成的全景图像在拼接位置出现模糊伪影或扭曲截断等情况，进而影响全景拼接的效果^[18]。

图1 　两相机拍摄产生视差示意图

如果使用多个相机在不同光心位置拍摄同一物体，则会产生视差现象。图1所示为两个平行的相机拍摄同一物体的俯视示意图，其中下方为两台相机，O₁、O₂分别对应相机镜头的光心点，两点之间距离为e。CMOS图像传感器是相机的感光成像处理器，光心到CMOS图像传感器的距离为f。P点为被拍摄物体，距离光心连线的垂直距离为z，可见被拍摄物体P点在两个相机CMOS图像传感器成像的位置并不相同。若以相机左侧为成像像素坐标原点，则P点在左侧相机的像素位置为d₁，右侧相机的像素位置为d₂，d₁与d2的差值为视差△d，各要素间关系如式（1）所示。 

为了能使多个相机拍摄同一物体的视差尽可能减小，全景拍摄系统设计基于以下三个方面考虑：其一，减少多个相机镜头光心间的距离e，以彼此不被拍摄到为前提，实际设计中的每个相机之间距离越近，视差越小；其二，减少光心到CMOS图像传感器之间的距离f，即尽量使用焦距较短的鱼眼镜头或广角镜头进行拍摄；其三，被拍摄物体与相机间距离z的数值越大越好，即以远端物体为拍摄主体，尽可能减少近景物体的拍摄需求。即便如此，多相机拍摄产生的视差问题仍难以消除，只是减小视差范围以便通过后期处理等手段弥补。 

2.2 系统的灵活性与便携性

拍摄全景图像时，由于可视角度大，一般需找到一个视野开阔的户外场景作为拍摄点，通常选择山顶或一些人迹罕至的区域完成。在进行低光照全景拍摄时，光线不充足会使工作环境更加艰难，需要拍摄系统能在有限的时间内迅速完成搭建并拍摄，因此系统的灵活性和便携性尤为重要。

虽然更多的相机数量可以获得更好的全景拍摄效果，但是这样构成的拍摄系统设备数量多，复杂度高。因此，在保证拍摄可以覆盖全景画面的前提下，系统需要控制相机的总数量。这样才能使系统使用灵活，安装与拆卸方便快捷，重量适宜，易于携带，大大降低使用者的操作复杂度，以便更专注于内容创作。

3.1 全景拍摄系统设计方案

拍摄系统中需要多个相机拍摄全景图像，因此需要优先设计一个全景云台，连接并固定这些相机的位置。这样可以让拍摄系统中每个相机所拍摄的画面之间既不会受相互入镜影响，又能有足够的重叠区域用于拼接，并尽可能让各个相机拍摄图像中视差越小越好。

设计全景云台的过程中，应当考虑全景显示设备对影像分辨率、画质的需求，以及感光度高的全画幅相机输出的影像分辨率与镜头可视角度等性能参数，并保留一定的画面冗余作为每张拍摄影像之间的拼接融合带，综合计算出拍摄全景影像所需的相机数量。本文在参考主流VR头显设备和北京天文馆球幕剧场现阶段对影像分辨率大小的要求，综合调研索尼（Sony）系列全画幅相机和佳能（Canon）鱼眼镜头的性能参数，计算得出需至少使用四台相机组合形成拍摄系统，才能获得高质量的全景影像。

因此，本文首先制定了一套可以支持四台相机同时拍摄的全景云台设计方案。云台分为顶板和立柱两部分：顶板部分通过螺丝与兔笼、相机连接并固定拍摄位置；立柱部分用于支撑、理线和与三脚架连接^[19]，全景云台支架设计图如图2所示。

图2　全景云台支架设计图

全景云台顶板的底部轴向方向均匀地分布四个相机安装面，每台相机拍摄的轴线相互垂直，保证安装四台相机后，每台相机拍摄至少四分之一的全景画面。四台相机交错排列一周，在相互不被拍摄到的前提下，可以减少相机镜头之间的光心距离e，进而减少拍摄画面中的视差△d。相机通过使用与之配套的快装板，与每个相机安装面连接固定。每台相机垂直使用，并向上倾斜一定的角度，该倾斜角度与相机安装面和水平面的夹角相同。在使用过程中，镜头在轴线上也向上倾斜相同的角度，一般倾斜夹角为10°～20°为宜。相机向上倾斜的设计，一方面使每个相机所拍摄的画面在全景画面顶部重合，为后期拼接融合提供便利；另一方面使全景图像顶部的画面避开镜头边缘，减少图像像差、畸变导致的边缘画质下降，从而更好地展示星空、银河等天顶区域的影像。相机向上倾斜后，所拍画面在底部会有一定缺失，但由于大部分场景下，云台底部场景需要三脚架或其他设备支撑，即使拍摄到底部区域画面也无大碍，因为底部区域无论是否被拍摄都需要进行后期处理。除通过后期软件对附近地面进行修补、填充外，还可在画面缺失处添加图标或其他图案直接覆盖。综上所述，相机向上倾斜既有利于提升顶部画质效果，又可以运用较为简单的方法解决画面缺失，从而不影响全景画面的整体效果。

作为支撑架体，全景云台立柱部分结构简单，方便拆卸：向上可通过螺丝与顶板连接配合，支撑多个相机；向下可与三脚架等设备实现可拆卸连接，控制拍摄高度。立柱内径采用空心设计，既能减轻架体重量，也能通过上下留有的开口便捷整理相机及其他设备的线缆，此外，立柱配有的不同螺丝口，可以方便安装扩展灯源、收音、监看等辅助设备。

为了保障低光照环境拍摄的画质效果，所安装的相机一般为全画幅相机，以确保较高的画面分辨率、感光度和较强的噪点控制力。目前，噪点控制较好的相机分辨率相对较低，但一般也能达到1200万像素，即图像短边大于2500像素。这样四个相机所拍摄图像在拼接后可以实现至少8000×4000分辨率的全景图像或者4000×4000分辨率的鱼眼图像。如使用更高分辨率的相机将会得到更高像素的图像，高质量地满足现有VR设备或球幕剧场的放映需求。相机在底部安装快装板后，与云台顶板通过2-3颗螺丝固定连接，可以实现快速拆装，便携且易用。

由于每个相机要拍摄至少四分之一的全景画面，因此每个相机的镜头水平视角应大于100°。为使相邻两张图像有重叠区域，保证后期拼接效果，垂直视角需尽可能大于等于180°，从而更多地覆盖从天顶到地面的画面，这些需求可以通过鱼眼镜头实现。我们在测试时选用焦距段在10mm~12mm的鱼眼镜头，垂直视角约为180°，画面效果介于圆形鱼眼镜头和对角线鱼眼镜头之间。一方面较短的焦距可以缩短光心到CMOS图像传感器之间的距离，减少多相机视差范围；另一方面相比于圆形鱼眼镜头，该焦距的鱼眼镜头可以有效利用CMOS画面，拍摄记录更多图像细节。

3.2 全景拍摄系统应用效果

通过上文所述的全景云台，配合全画幅相机镜头构成系统，可以完成低光照环境下全景拍摄工作。

在实际应用中，使用Canon 8mm~15mm鱼眼镜头12mm端，能够覆盖可视角度约180°×120°的图像；使用Sony Alpha 7S Ⅱ相机拍摄，单张图像分辨率可达4200×2800。四个相机图像拼接后可以实现至少8000×4000分辨率的全景图像，或者4000×4000分辨率的鱼眼图像，满足高分辨率全景影像需求。相机向上倾角15°，可以让天顶部分重叠区域超过10%，有利于最终拼接效果，也让天顶区域的星空离开相机边缘，提升该部分的画面质量。直接输出的全景可视范围至少可达360°×165°，经过图像处理后可视范围可达360°×180°，能够更好地满足VR头显设备或球幕剧场播放内容的需求。

使用上述相机、云台为主体组合成的全景拍摄系统（图3），基本能够覆盖低光照环境下全景拍摄的使用场景：可以拍摄单帧全景图像展示夜空细节；能够拍摄延时摄影图像展现斗转星移；可以拍摄视频图像展示转瞬即逝的夜间影像，如流星、空间站等。

图3　全景系统使用效果图

全景拍摄系统结构简单，其中云台支架的顶板与立柱之间、顶板与相应的相机快装板之间均为可拆卸连接，可以实现快速拆装，更便于携带，且易于安装和扩展。通过一个行李箱即可携带，即便在低光照户外环境下也可快速拆装使用。

通过全景云台拍摄得到的单通道相机图像，可以保障画面水平方向和顶部有较大的重叠区域，可以使用主流拼接软件自动化完成全景拼接工作，例如全景拼接软件PTGui、AutoPano或Photoshop软件中自带的全景拼接脚本等^[19][20]。由于全景云台在设计时已经尽可能减少相机、镜头所导致的视差，最终全景图像的视差才得以可控或通过后期处理消除。比如在全景图像中，一般分为天顶区域和地面部分，天顶区域由于对焦在无穷远处，多张图像之间基本没有视差，可以使用软件以此部分为主体寻找控制点进行拼接；而地面部分以全景拍摄系统为圆心，越靠近拍摄系统的物体，在画面中的视差会越大，对拼接后的效果有一定影响。但由于系统整体设计的视差控制较好，在画面中影响范围不大，可以通过后期软件进一步优化，因此，多数情况下可以有效减少或消除地面部分图像的视差现象。

图4展示了全景系统所拍摄的单通道图像及处理后图像的效果。使用该系统四个相机分别拍摄四个方向的鱼眼图像，每张图像在水平方向与天顶区域均有重叠，便于拼接并进行后期处理〔图4（a）〕。使用PTGui软件拼接并通过Photoshop软件进行底部处理后，得到适用于VR头显设备使用的等距柱状全景图像〔图4（b）〕，也可以根据需要对全景图进行图像投影变换，从而获得等距圆形鱼眼图像〔图4（c）〕，满足数字球幕剧场的使用需求。

图4　单相机拍摄图像与处理后图像

本文针对低光照环境下获取高质量全景影像的难题，设计了一套全景拍摄系统。该系统利用全景云台连接四台全画幅相机，有效减少视差问题，获得高质量全景影像，改善现有全景拍摄方案效果不佳的问题。该系统经实践检验，使用方便，易于拆装，方便扩展，长期使用具有一定的经济性。由该系统拍摄制作的全景影像可以较好还原低光照环境下场景细节，图像颜色丰富，噪点控制力好，目前已应用于VR头显设备以及球幕剧场展示。该系统除用于星空、银河、流星雨等天文摄影领域，还可用于拍摄夜间的山脉、湖泊、河流和其他自然景观，也可用于拍摄夜间城市远景，如城市天际线、建筑群、远处标志性建筑等，有助于促进旅游、文化保护、城市规划等领域的经济发展宣传工作，以获得可持续的投资和支持。

本系统的设计方案为低光照环境下远景全景影像拍摄提供了一种解决思路。依照目前VR头显设备和球幕剧场对影像分辨率及画质的需求，以及现有市场上主流全画幅相机、镜头的性能参数，综合考虑系统灵活性、便携性，有效解决相机视差等难点，采用四台相机的拍摄方案是相对较优解。随着对全景影像画质、分辨率的需求不断提升，相机镜头的参数性能不断增强，未来全景云台的样式和相机数量也可随之调整，但本方案的整体设计思路具有普适性，可以适应多种应用场景，为用户提供高质量和可持续的全景拍摄解决方案。