9月6日，今年第11号台风“摩羯”登陆，成为史上登陆中国最强秋台风，也是继2014年第9号台风“威马逊”之后登陆中国的最强台风。
就在这样的背景下，央视频推出了一段前所未有的天气预报视频，瞬间刷爆了网络。这段视频，完全打破了传统天气预报的模式，运用虚拟现实技术将台风“摩羯”的破坏力生动直观地展现在观众面前。
01
视频中，主持人不仅仅是站在屏幕前讲述天气情况，而是"走入”了一个虚拟的场景中，亲身演示台风的影响。例如当主持人手握雨伞走在虚拟街道上时，突如其来的狂风将伞瞬间吹飞，狂风暴雨中的真实感震撼了所有观众。此外，还有树木倒塌的场景，甚至“砸”进了演播室，主持人险些受伤。这样的画面让观众更切实地感受到了自然灾害带来的巨大威胁。
那么，这样一场视觉盛宴是如何诞生的呢？这背后，是虚幻引擎（Unreal Engine）这一强大游戏引擎的鼎力支持。原本用于开发高画质游戏的虚幻引擎，如今被巧妙地应用到了天气预报领域，利用其强大的渲染能力和物理模拟技术，构建出了一个高度逼真的虚拟环境。
同时，扩展现实（XR）技术的加入，更是让这一虚拟世界与现实世界无缝衔接。观众不仅能够看到台风在虚拟世界中的肆虐，还能通过XR技术感受到风的力量、雨的滂沱，仿佛自己也成为了这场自然奇观的一部分。对比上一代传统虚拟演播室系统，XR技术节省了绿箱（蓝箱）抠像、后期合成等环节，真正做到“所见即所得”。
而虚拟演播室技术，则是整个系统的“灵魂”。它打破了传统演播室的物理限制，让主持人和虚拟环境能够自由互动，创造出更加灵活、多样的播报形式。无论是风雨交加的台风现场，还是晴空万里的未来展望，都能够在虚拟演播室内轻松实现。
XR演播系统利用LED大屏直接输出预制背景，即把摄像机信号从后期抠像处理方式转变为摄像机实时预成像方式，直接生成带有演员和嘉宾现场的虚实合成画面。同时，在系统中后端部署虚拟前景合成服务器集群，通过显示设备在大屏前植入CG图文、虚拟AI主持人等，完成大屏范围之外的画面扩展补偿。
通过打造沉浸式三维立体演播空间，使参与者的表演更加自然，互动更加精准，环境光照更加饱满。结合专业化舞美设计，系统可打通真实现场、真实人物、虚拟背景与虚拟植入之间的空间共存感，产生时空交错、异地融合的奇妙效果，最大化地利用演播室或舞台空间，为数字媒体制作提供新的技术手段。
02
虚拟演播室技术是以计算机技术为基础发展的，该技术能够对现场环境进行有效虚拟，即利用计算机技术虚拟出三维立体场景，并与现场画面进行数字化合成，以此获得良好的播出效果。
在2022年两会期间，央视网针对两会期间的热点话题，策划并制作了一档访谈直播节目《两会C+时刻》，在直播过程中首次将虚拟数字人融入虚拟演播室系统，并且与真实嘉宾一起置身于虚拟场景中进行实时互动。该节目采用实拍植入的方式，加入了时下流行的虚拟数字人（央视网虚拟主播小C），同时利用面部捕捉和动作捕捉技术，使虚拟数字人能够实时地与现场嘉宾互动。
随着人工智能的出现，还发展出了新的产物——虚拟数字人，通过不断学习，以庞大的数据库作支撑，最终成为和真人高度相似的虚拟人物。央视网采用真人驱动虚拟人的方式实现虚拟数字人与虚拟演播室完美融合，在访谈话题的实时虚拟制作技术上是一次创新，践行了“技术+创意”的理念，为严肃的两会话题添加了活泼生动的元素，让年轻观众更容易接受。
XR沉浸式演播室无论是在技术上还是在行业的领域中，都超越了传统演播室。2022年6月中央广播电视总台CGTN的超长新媒体直播《雨林大冒险》将XR技术与异地连线应用场景相结合，让连线嘉宾和主持人置于同一场景，突破“屏对屏”，实现“面对面”沟通。最终实现同一场景下的异地访谈、异地报道等，丰富了镜头语言表达形式，打破了时间与空间限制。
相比传统直播连线技术，XR异地融合技术使整体节目效果更逼真，并且增强了节目的时空感、立体感、真实感，现场主持人更有“身临其境”的沉浸式体验。在2022年6月22日《雨林大冒险》的直播过程中，主持人在雨林XR背景中，通过技术切换让其“穿梭”于世界各地的热带雨林，并且能和身处现场的前方同事实现身临其境的异地同屏互动。
CGTN此次采用的XR异地融合技术，将原先的二维图像节目呈现方式进行了突破升级，能够将后期前置，更快速地实现虚实结合效果。随着河南春晚、元宵晚会的屡次出圈，XR 技术逐渐被应用到许多节目制作中，也日益被大众所接受。
除此之外，2020年3月中国联通与中国传媒大学成果转化中心/动画学院共同推出XR内容开发者计划助力5G文创生态。2021年新华社智立方智能化演播室与天津中医药大学实验室展开了一场“异地同屏”的访谈，现场以LED大屏作为交互媒介，实现人民大会堂和梅地亚会场之间“隔空对话”的效果。2022年11月，国家工业和信息化部批复组建国家虚拟现实创新中心、国家超高清视频创新中心等3家国家制造业创新中心。其中虚拟现实和超高清视频的重要载体便是XR虚拟演播室。
XR虚拟演播室在真实空间中打造出无限可能的沉浸式虚拟环境，做到了“所见即所得”的拍摄效果，在场景还原方面明显优于传统的直播演播室（实景装修）和纯虚拟演播室，在新媒体传播、工业设计、娱乐互动、主题场馆等多种行业和领域广泛应用。
现在XR虚拟演播技术可广泛应用于广告、电影、电视、综艺节目、纪录片、戏剧演出、发布会、演唱会、电竞赛事、电商直播等各类视听内容制作领域，服务对象由1变N。XR的未来正如其名字中的“X”一样，技术+创意为媒体创作多样化赋能，充满了无限可能性，实现了现实世界与虚拟世界的交汇融合，提供无限创作空间，为观众营造全新的视听体验。
来源：影视制作
深圳龙岗智能视听研究院
人工智能 | 超高清
产业创新 | 技术孵化 | 成果转化
