01
引言
Stability AI 刚刚发布了一款新产品 Stable Fast 3D (SF3D)，它可以在一秒钟内从图像生成纹理3D建模资产。这个速度快得令人难以置信，因为我上一次尝试的人工智能3D生成器，如 Meta AI 的 3D Gen（文本到三维）或清华大学的 Unique3D（图像到三维），渲染三维资产需要 50-60 秒。
在本文中，我们将介绍这种新的快速稳定3D生成器是什么、工作原理以及如何使用。
02
什么是Stable Fast 3D？
稳定快速三维重建（SF3D）是一种新方法，可在 0.5 秒内从单张图像快速、高质量地重建物体纹理的网络。
与大多数现有方法不同的是，SF3D 在生成网格时进行了明确的训练，并采用了快速 UV 解包技术，从而能够快速生成纹理，避免了对顶点颜色的依赖。该方法还能预测材料参数和法线贴图，以提高重建三维网格的视觉质量。
此外，SF3D 还集成了一个消除低频光照效应的步骤，确保重建的网格能在各种光照条件下轻松使用。
如果您想了解 Stable Fast 3D 的更多详情，请点击此处查看原始论文。
论文链接：https://stable-fast-3d.github.io/static/paper.pdf
03
工作原理
首先，大家只需上传一张物体的图像。然后，Stable Fast 3D 会快速生成完整的 3D 资产，包括：
UV 展开网格 材料参数 减少照明反照率色彩 可选的四边形或三角形重网格
这些图像标记Token与摄像机标记Token一起被输入到一个大型Transformer模型中，以预测一个三平面体积表示法，对场景的三维结构和外观进行编码。
SF3D 不依赖可微分体积渲染，而是采用可微分网格渲染器和网格表示法。网格从预测的密度场中提取，并添加顶点偏移，以生成更平滑、更精确的几何图形。
接下来，该方法会提取反照率颜色（即物体表面在无光照情况下的固有颜色）和切空间法线（提供表面细节和纹理）。这确保了表面在视觉上看起来平滑细致。另一个网络处理输入图像，预测粗糙度和金属特性等材料参数，这对于逼真渲染和为物体提供适当的反射特性至关重要。
在训练过程中，该模型还将场景光照预测为一组球形高斯，这些球形高斯是从包含必要 3D 信息的三维平面中提取的。
最终的图像会进行差异化渲染，将网格、反照率颜色、切空间法线和材料参数结合起来，确保所有组件协同工作，生成高保真的三维资产。
04
可能应用
Stable Fast 3D技术在游戏和电影制作中都有多种应用。
在生产前阶段，广泛的实验至关重要，此时可充分利用其快速推理能力 为游戏创建静态资产，如背景对象、杂物和家具。 为电子商务平台生成 3D 模型。 为 AR/VR 体验快速制作模型。
05
在线试用
目前，大家可以通过三种方式使用 Stable Fast 3D。
通过在 Github 上下载 Stable Fast 3D 模型代码并下载模型权重，在本地计算机上使用。
模型权重：https://huggingface.co/stabilityai/stable-fast-3d
该模型还可通过应用程序接口和 Stable Assistant进行访问。
Stable Assistant: https://stability.ai/stable-assistant
使用 HuggingFace 演示版在线尝试。
Hugging Face：https://huggingface.co/spaces/stabilityai/stable-fast-3d
让我向大家展示 HuggingFace 上的 Gradio 演示。只需将样本图片上传到下拉区域，然后调整前景即可控制前景对象的大小。
上传测试输入图像后，背景将自动移除。如果图像已经有 Alpha 通道，则可以跳过移除背景的步骤。点击 "运行 "按钮。
正如它所承诺的那样，处理速度快得令人难以置信。只需几毫秒，结果就会显示在仪表板的右侧部分。
太棒了！大家可以以 GLB 文件的形式下载高质量的 3D 资产。下面是更多示例：
此外，我还注意到人工智能在渲染具有较小细节的物体时非常吃力。请看下面的例子：
在这种情况下，大家可能需要降低前景比例值来改善该问题。
06
总结
总的来说，Stable Fast 3D 是一种新颖的 3D 资产生成方法。尤其是处理速度，给我留下了深刻印象。就质量而言，虽然它在处理基本形状的物体时已经足够出色，但在处理具有复杂细节的复杂物体时，它仍然显得力不从心。尽管如此，这仍然是 3D 生成技术领域的一大进步。
点击上方小卡片关注我
添加个人微信，进专属粉丝群！
