![]()
引言：Territory Studio 从为漫威英雄电影制作 XR 内容起家，到在硅谷在企业级项目中成功应用 XR 经验提供服务，联合创始人兼创意总监 Marti Romances 做客 XR Industry Leaders 播客，分享了他们这段奇妙的经历。
船长语录
- 影像是想象力的起点，在好莱坞最大的收获是可以不计成本和实现可能性地设想未来科技与人类生活的关系
- 高斯泼溅等技术将 AI 图像算法推向新的境界，3D 相关的技术将很快成熟并降低成本，接下来内容是王道
- 现在不投入 XR 开发的团队，两年后行业成熟时都将错失良机；XR 的开发需要在实践中试错
- 在 XR 创业或者孵化，首要的不是开发，要先在设想（Fake it）它已经实现的基础上做可视化，通过影像确保自己和客户都明白想做什么；分配好开发的精力，利用好 AI 等工具，小团队也可以做出惊人的成果
Brad (Brad Scoggin)：我叫 Brad Scoggin，是 ArborXR 的 CEO、三位联合创始人之一。Will (Will Stackable)：我是 Will Stackable，ArborXR 的 CMO 和联创。Brad (Brad Scoggin)：今天嘉宾的履历非常酷。他在好莱坞的一些主要电影中做了很多工作，现在还涉足汽车行业。今天我们有机会与 Marti Romances 坐下来聊聊，Marti 目前在湾区，他来自巴塞罗那。他是 Territory Studio 的创意总监兼联合创始人。我很想听听你是怎么开始接触混合现实（mixed reality）的。Marti (Marti Romances)：正如你所说，我们的发展路径很不一般。我们从 14 年前开始，主要关注在电影行业如何通过静态或动态影像讲述故事。在电影行业中，我们面对的是更广泛的观众，所有人都需要理解这些影像中发生的事情，导演们利用我们提供的优秀的视觉捷径来讲述故事。例如，如果这些人要从 A 点到 B 点，大家看到从 A 点到 B 点的一条线，瞬间就能明白了。这是一种通用的设计语言。
所以我们在这方面做得越来越多，后来为 Marvel 工作。这些视觉图形给了我们在电影里创造出未来科技的机会，比如这些超级英雄使用的技术。有时我们似乎在研究太阳系外的科技。当然，这最终带来了伟大的标志性设计，比如钢铁侠的头盔显示（heads-up display）或黑豹的技术。这些设计早已融入《普罗米修斯》（Prometheus）和《火星救援》（Martian）等项目中，我们也开始思考如果真的拥有这些技术能实现什么。很快我们意识到，整个虚拟现实（VR）行业开始发展、演变并成熟。我们开始看到带有混合现实的头戴设备，如 Oculus 和 Magic Leap 的早期版本。这给我们进入这个行业产生了启发。我们给好莱坞做的可视化以及原型都不受任何实际限制，因为我们不用真正开发它。但是当你和任天堂合作的时候，你就知道开发一个能落地的东西有多难。在电影中，你只需展示它的可能性，这只是视觉概念化的想法，我们在某些场景中可以自由地创想。之后那些真正开发产品的人也开始与我们联系，我们已经在公司内部建立了一个数字垂直业务，主要专注于汽车设计，尤其是仪表盘设计。汽车行业本质上要求的是与好莱坞类似的东西——如何向更广泛的观众传递复杂的信息：当他们坐在驾驶座上时，如何告诉他们汽车将自动停车或电池现在的续航里程。因此，七年前电动汽车开始普及的时候，就为我们打开了大门，我们能够像在电影中一样，通过用户体验向更广泛的观众讲故事。我认为将混合现实融入未来的汽车，就是我们在混合现实中看到的最成功的故事。Brad：所以你将《钢铁侠》和其他电影中的创意带入了汽车显示，这是一个很酷的转型。你在电影行业做的所有事情中，你觉得哪一件是最有趣的？Marti：如果我们要将其与 VR 和混合现实联系起来说的话，我认为《头号玩家》（Ready Player One）可能是最合适的，因为它讲述了在虚拟世界中进行游戏的故事，同时背景仍然是现实世界。我认为这是非常具有代表性的作品，与史蒂文・斯皮尔伯格合作也是一种有代表性的体验。这个过程提出了许多有关用户界面的设想，比如我们如何从平面屏幕或平面显示器转变为在我们面前的增强现实的物体，可以全方位 360 度地进行人机互动。这也是我们与 Magic Leap 紧密合作，并为汽车行业如 Audi 或 Mercedes 制作实际原型时所看到的，他们现在不需要屏幕，所有信息都叠加在车舱内。所以《头号玩家》是非常有标志性的。还有 Apple TV+ 的电影《天鹅挽歌》（Swan Song）也是一个非常有趣的案例，因为我们被要求设计一个更可信的未来，而不是为科幻未来中的超级英雄做设计。假设这些人日常生活中使用的增强现实技术是由 Google、Apple 或 Meta 设计的，我们将其简化为一种更商业化的场景来进行界面设计。有趣的是，当我们看到 Vision Pro 的 UI 设计时，发现和我们两年前在那部电影中的设计有很多相似之处。这可能是一个有趣的巧合，但我们最终有许多一致的解决方案，比如次表面散射（subsurface scattering）解决方案、非常简单的设计、使用非常中性的颜色、光影的使用。所以这是另一个在这方面非常有趣的案例。Will：你的工作是想象未来 XR 的可能性并将它可视化，没有任何限制。你不需要考虑当前头戴设备能做什么，而是考虑钢铁侠的数十亿美元的装备能做什么，在这个过程中你有什么新的思考？你提到了 Apple Vision Pro 和一些交互、UI、UX，现在你看到或期待未来头戴设备在硬件能力增长时会有哪些发展？Marti：我认为有硬件和软件两个点正在不断趋近并不断发展，我认为它们将在未来两三年内在某个合适的点上相遇。首先是硬件。如你所说的，过去的硬件是非常笨重，我认为这个问题仍然存在，但这不再是借口。我认为我们现在可以开始设计原型了。硬件变得更小，技术、芯片、甚至电池的解决方案都在改进。在软件方面，像辐射场（Radiance field）、NeRF（Neural Radiance Fields，神经辐射场）、高斯泼溅（Gaussian Splatting）这些解决方案，在实时运行 3D 物体的创建上非常快速高效。你看到 NVIDIA 在做像 Neuralangelo （一种高保真神经表面重建框架）这样的事情，他们将这些辐射场网格化，并将其网格化为多边形，以便我们可以进行重新配置光照，这对 AR 来说非常重要。高斯泼溅完全由 AI、算法在驱动。Will：你能简单解释一下什么是高斯泼溅（Gaussian Splatting）吗？Marti：高斯泼溅是一种基于辐射场（radiance field）的 3D 图像技术。我可以从几个不同角度拍几张鞋子的照片，就生成 3D 模型。这与扫描测绘不同，扫描测绘需要从很多角度对被摄物拍很多照片来建模，而 RF 使用的是机器学习，用算法计算每一个点光源如何在特定表面上反射，识别该表面可能是什么材质、这些点光源如何反射到另一个区域，以便在没有拍到的角度上重建光线。这种方法可以更好地表现有透明度的材质，而材质透明度在模型后续的用户体验中相当重要。例如在表现浮动的半透明 UI 元素的时候，我们需要非常轻量级的 3D 模型，因为这些头戴设备的显卡性能大概率比不上两块 NVIDIA 显卡。高斯泼溅基本上就像在图像中的高斯模糊（Gaussian blur）处理一样。它在两个数据点 1 和 0 中间，创建出一个中间点，并计算出其中的渐变。如果拿黑色和白色举例，高斯泼溅的结果会是一个灰度色阶。而面对 3D 数据中数百万个折射和反射信息点、法线和众多光路，高斯泼溅基本上就是提供平滑的解决方案而最终得到图像，和 NeRF 技术最终希望能做到的事情差不多。所以它几乎可以算是 AI 算法加持的超级增强 NeRF。在这种解决方案中你得到的不是一个几何体，而是一个由漂浮的点组成的辐射场，所以它是非常轻量级的。但很多交互中我们需要物体的影子，这个时候缺少几何实体就是一个问题了。所以我们现在看到 NVIDIA 和其他创新者正在创建像 Neuralangelo 这样的论文和解决方案，它基本上是将 NeRF 辐射场网格化为 3D 解决方案。这些正在迅速发展的事情使我们终于看到多年来梦想成真的可能性，我认为这就是这些技术的结合点。这是一个很详细的解释，但这正是我认为将实现的事情。我认为这项技术的使用将不仅仅是每天的用户使用。当然内容将是王道，没有内容，这项技术不会走远。但至少我们看到硬件和软件的发展达到了非常令人兴奋的地步。Brad：你刚刚提到，你和 Medivis 公司做了一个非常酷的项目。你能谈谈这个吗？Marti：Medivis 当时在尝试如何在 toB 项目上使用增强现实，更多聚焦在医疗方面，比如为外科医生提供更准确的手术视图，主要是针对神经外科手术。这是在 AR 技术比较早期的时候，我们只是帮助他们戴上我们的虚拟头盔，帮助他们想象这可能是什么样子，然后摘下虚拟头盔，现实地检查我们想象的东西在当时是多么不可能。然后我们戴上软件开发者的头盔，尝试从 UI 和用户体验的角度创造尽可能接近现实的东西。而快进到我们与 Magic Leap 最近的合作，我们现在看到 Magic Leap 2 上有了超精准的追踪解决方案。我们最近帮助他们为企业创建了一系列视觉解决方案，有些是供应链方面的，有些是工厂中的学习和培训相关，还有一些是医疗解决方案。有趣的是，它们最终都指向同一个最佳用例：精准表现大脑中病灶所在位置，以及需要切口的位置。我认为医疗领域可以从中受益良多。我们还与 Intel 合作开发了一个 AR 假肢展示解决方案，让患者了解他们的新膝盖会是什么样子，并在膝盖上增强现实地看到假肢。所以这是我们下一步的工作。这些技术进展不仅仅是用于娱乐，还用于辅助医疗和帮助老年人。例如让老年人不需要实际驾车上路仍可以在驾驶座上体验驾驶。我们非常关注娱乐之外，能够带来很多不同的实际用例。我们喜欢说我们试图通过图形和原型来增强和转变人类体验。Brad：你刚提到帮助老年人重返驾驶座。这是让他们体验回到车里的感觉，还是教他们更舒适地再次开始驾驶？
Marti：我认为更多的是让他们重温他们怀念的体验。VR、VST（视频透视）和增强现实之间有很大差异，最重要的一点是选择正确的解决方案。因为对于沉浸式的东西，当你需要沉浸式体验一个地方，VR 和 VST 是很好的选择。但对于驾驶汽车这种需要实时控制的东西来说，法规不可能接受驾驶员使用一台可以关闭外部摄像头的机器，所以我们在做很多 AR 头显方面的工作。我对 AR 比 VR 和 VST 更感兴趣，但这可能是个人偏好。
实践是最好的老师
Will：回到《钢铁侠》的头显显示，我们可以想象未来可能会有类似我戴的眼镜那样的东西来实现这样的 AR 头显显示。你看到的即将到来的趋势是什么？在创建 AR 框架内的用户交互和良好用户体验方面，你学到了什么？Marti：我想先回答后面一个问题，我们意识到的一件事是，我们开始看到数据点并可以追踪某种路径的推测。我们非常接近最新技术，比如我们正在为加热视网膜锥体而实现增强现实的隐形眼镜进行原型设计。类似这些的在硅谷发生的疯狂事情真的让我们兴奋。我们现在会说，我们来自好莱坞，但正在桥接到硅谷。这些技术的发展路径非常清晰：变得更便携、拥有更高效的电池和计算解决方案。以后 AR 和其他技术的分界线会变得更加清晰：能够使用现实世界作为场景环境的东西，与需要更多能量来完全沉浸到另一个地方的东西。我认为产品也会因此分界。而且正如我所说，设备会变得更轻、更高效。关于第一个问题，我们学到的是，我们总是对客户和品牌说，也许这个技术还没有完全成熟，但如果现在不开始开发，你们会错失良机。这就是为什么我们与像 Mercedes、Audi、Nike、Prada、Adobe 这样的公司在 AR 领域进行开发，就是为了这些企业在两年内当技术成熟时能够快速反应打下基础。我认为现在不进行开发的人两年后会错过机会，因为我们都需要通过实践学习，而不是空想。我记得八年前我第一次来到旧金山时，和 Tom Chi 一起参加了一个会，他当时是 Google Glass 的董事会成员。当时有很多人在讨论 Google Glass 的 UI 应该用什么颜色，理论上红色是最好的，因为它能耗低，但实际上当你开始实践时，你会发现红色在户外的可见性最差，最终我们选择了蓝色和白色。所以我的观点是，我们通过实践学习。我总是说，快速原型设计是我们来到旧金山的原因之一，我们参加了不同的 Y Combinator 孵化和加速活动，意识到我们可以进行快速原型设计，并快速学习技术。如果要选出我们在 AR 方面最代表性的工作，我会说是 Audi Active Sphere 项目。这个项目很好地展示了我们在做的事情与前进的方向，我认为我们也在其中取得了很好的成果。通过这些实践，我们学到了一些东西。例如，我们发现当某些控制旋钮悬浮在驾驶员或乘客面前时，如果完全正对头戴设备，设备无法读取手指的位置，因为摄像头只能看到手背和旋钮。比如肘部应该始终靠近肋骨，不要让手臂抬高，否则会非常不舒服。这些都是通过实践才能学到的小技巧。现在有很多其他解决方案，例如 Apple 非常聪明地采用了注视追踪技术。但如果不进行这些实践，就不会学习到这些东西。我们告诉客户，你们不仅仅是为了优秀的设计和软件开发人员而来，更是为了我们三四年来通过失败积累的经验。Medivis 项目我们是在八年前完成的。还有 Forza Vista 项目，我们为 Forza 游戏设计了增强现实图形，那是 11 年前完成的，AR 当时还不成熟。但即使在那时，我们也在快速原型设计，想象当你打开汽车引擎盖时，所有图形都会被增强显示在正确的位置。这就是计算能力提升如何帮助人机界面和用户体验的原因。因为以前我们只能看到一个红色图标，现在我们可以通过 3D 实时渲染精确显示问题所在。例如，前悬挂传感器检测到问题，我们可以展示传感器的位置和问题的细节。这就是拥有这些信息并能创建更好的用户体验的美妙之处。
Brad：我喜欢你说的通过实践学习。这是简单但非常有力的建议。我很好奇，你有什么建议可以给那些大型公司的 XR 倡导者或内容创作者吗？你有什么建议能帮助他们启动项目并在公司内部推广吗？Marti：我认为我们多年来一直在做的事情是，首先不需要开发任何东西，要先进行可视化，设想（Fake it）它已经实现。我们多年来一直在设想，因为很多东西当时并不可能实现。即使在开始之前，我们会进行视觉原型设计，确保我们和客户都非常清楚我们将要做什么。所以，我们通过设计和 3D 概念化进行假装，制作一些 POV 视频，看看效果如何，然后再开始开发。我们在开发之前会确定精力如何分配。现在有很多新工具可以让开发中的很多事情变得更容易。例如，我们开始使用 Move AI 的解决方案，只需创建我们自己的快速视频，就能在几秒钟内获得一个全套的动画模型。以前，像 EA Games 这样的公司要花费数百万美元在温哥华进行动作捕捉，现在你只需用手机拍摄视频，经过机器学习处理就能得到一个装备齐全的模型。这些技术发展得非常快，我建议大家不要忽视这些新解决方案，因为它们可以极大地提升小团队的开发效率，让小团队也能完成惊人的工作。Brad：这真的很酷。我认为从已经成功的人那里听到「Fake it till make it」的建议总是更有说服力。人们可以在哪里找到你，关注你的工作呢？Marti：你可以访问我们的网站 Territorystudio.com。我们涉及不同的行业，我们必须确保网站能够引导用户。所以如果你对我们在好莱坞的工作感兴趣，你可以去 VFX 或屏幕图形部分。如果你想了解我们在数字产品方面的工作，可以看到很多我们讨论的汽车领域的内容。我们总是欢迎大家，也许你不想和我们合作，但你是这个行业的新手，想要一些建议，我们非常开放。我们喜欢听取来自各个层次的行业声音。![]()
