熊嘻嘻
刚刚，Meta发布了全球最大3D重建数据集！2400个AI重建的超高质量3D模型数据库发布，支持最高精度亚毫米级别重建。并与Shopify合作，3D电商革命 - 未来商家可用智能眼镜快速生成3D模型，商品展示精度超现实。
“我们相信它是世界上质量最高的3D模型重建研究数据集。它由2400 多个物理对象组成，这些对象使用最先进的硬件扫描并手动调整，以实现亚毫米级的几何精度和照片级真实感。”
Meta是这么来形容的：
在不远的将来,一个独立陶瓷店的店主将能够即时轻松地展示他们刚从窑炉中取出的手工花瓶,以一种在视觉上与现实无法区分的细节水平呈现在顾客眼前。他们将使用手机或智能眼镜从各个角度拍摄花瓶的几张照片,通过应用程序将这些图像上传到他们的电子商务平台,片刻之后,他们就能在网店中以惊人的细节直接查看、旋转和放大他们的花瓶。同一天,稍后,一位顾客可能会使用Quest头显或智能眼镜在增强现实商店中搜索花瓶,找到一家陶瓷店,并点击"新产品系列"选项卡进入一个交互式虚拟空间,在那里他们会看到一个令人惊叹的花瓶就在眼前。他们会将目光集中在精心制作的把手上以查看其细节。他们会用手拿起它,通过自然的手势将其投影到他们所站的房间角落,正好对准他们一直在考虑的位置。看到它完美契合后,他们就能轻松完成购买。
以下是Meta官方博客介绍此数据集：
https://ai.meta.com/blog/digital-twin-catalog-3d-reconstruction-shopify-reality-labs-research/
在电子商务和沉浸式现实应用中,有朝一日可能实现这些体验的视觉逼真的3D对象被称为"数字孪生"。使用"孪生"这个词是因为对象的数字表示在与应用相关的方面与实际物理对应物无法区分。对于大多数应用来说,孪生体在视觉特征上需要无法区分。这意味着需要具有精确到亚毫米级的几何形状,以及具有与真实对象完全相似的纹理和光反射性的材质。为一个多孔且有机形状的手工制作的带有光泽的花瓶创造这种级别的真实感绝非易事。如今,电子商务和沉浸式应用中的绝大多数数字孪生都是由技术艺术家团队精心手工制作的,成本在某些情况下可能与创建实体对象本身不相上下,这使得除了最高端产品之外,其他产品的进入门槛几乎无法逾越。
3D重建是计算机视觉领域的一个核心研究课题。其目标是从2D图像创建物体或场景的3D表示。使3D重建变得强大和高效是计算机视觉社区在推动上述陶瓷店等企业数字孪生创建民主化方面可以采取的最重要步骤。近年来,随着神经网络和深度学习的应用,该领域取得了巨大进展。一些最成功的方法专注于创建物体的隐式表示,这种表示在查看时渲染,并随着每次视角变化而重新渲染。用于训练这些模型的算法不断发展,目标是创建越来越详细、对各种物体类型和光照条件更加稳健、在各种设备或计算架构上处理实时应用更快,并最终对最终用户更加逼真的数字孪生。但在这些大多数方面,我们还没有达到可用于市场的解决方案。
多年来,我们一直在数字孪生创建的重建算法开发方面进行重大投资。在Connect大会上,Meta创始人兼首席执行官马克·扎克伯格展示了我们的一些研究成果,并描述了我们的目标,即能够轻松地从移动设备捕获创建数字孪生,用于增强现实中的沉浸式体验。我们在使用NeRF和Gaussian splatting改进最先进的密集重建技术方面取得了重大进展。同时,我们还在研究稀疏视图3D重建技术,这将使用未来类似于我们的研究眼镜原型Project Aria的智能眼镜,从日常观察中实现对象和场景的数字化。
与所有基于机器学习的方法一样,数据将是整个计算机视觉社区在3D重建方面取得进一步进展的关键。近年来,3D对象数据集在规模上有所增长,但在几何和材质真实性方面仍然不足。此外,这些数据集中很少包含与实际物理世界对应物相关联的对象。正如创建数字孪生对小企业来说成本太高一样,创建这样一个训练数据集的成本对学术界来说也高得令人望而却步。
介绍Digital Twin Catalog,一个用于3D物体重建研究的新数据集
今天,Reality Labs Research通过发布Digital Twin Catalog (DTC)帮助弥补这一数据缺口,我们相信这是世界上最大和最高质量的3D物体模型数据集,用于3D重建研究。
DTC是一个包含超过2400个3D物体模型的大型且高度详细的集合,这些模型相对于其物理对应物具有亚毫米级的精确度,并且高度逼真。我们选择了家中常见的物品,如玩具和厨房用具。我们使用Covision Media的最先进扫描设备捕捉这些物体的几何形状和材质属性,然后对它们进行微调以达到无与伦比的真实感。
该数据集还包含使用传统DSLR相机和我们的Project Aria研究眼镜对部分物体进行的2D录制,以支持改进相机和智能眼镜捕获应用的重建研究。DTC将使研究人员能够加速开发新的重建技术,目标是使重建技术准备好用于现实世界的应用。他们今天就可以开始使用Digital Twin Catalog来训练、微调或评估基于机器学习的重建技术。
AI创业者
数据集地址：
https://www.projectaria.com/datasets/dtc/
拓展：：AIGC + 3D方向的创业者
【工具库+方案】照片生成3D场景/3D点云，非常适合做三维重建、AR大空间
【AIGC + NeRF】文字进行3D模型场景编辑 （技术方案/产品化）
【方案库】适用于空间计算、电商的虚拟试穿项目，AI生成3D数字服装
3D从业者
与Shopify合作开展学术竞赛
我们很高兴宣布与Shopify的合作,Shopify是一家领先的全球商务公司,为商务提供基本的互联网基础设施,以进一步加速物体重建研究。Shopify以其全面的工具和服务赋能企业而闻名,了解高质量产品媒体在建立成功的在线店面中的关键作用。鉴于创建详细的3D数字产品模型所涉及的复杂性和巨大成本,我们的合作旨在弥合这一差距。
通过Shopify与参与商户之间的合作伙伴关系,我们正在利用这些商户提供的一系列3D资产,显著增强AI生成准确和详细数字孪生的能力。在接下来的几个月里,我们将合作通过一个旨在改进重建算法的学术竞赛提供超过7000个数字孪生。
"与Meta的这种合作是我们对创新承诺的自然延伸,"Shopify负责3D支持的产品负责人Matt Koenig说。"通过合作,我们旨在使高质量的3D数字资产对企业家来说更容易获取和创建。这项倡议是旨在增强我们平台能力并赋能我们的商户更好地与客户互动的众多合作之一。"
Shopify的高端家具商户Arhaus Furniture对参与我们的研究努力感到兴奋,希望在未来看到商业解决方案。
"在一个亲身体验产品可能受限的行业中,这种合作允许我们通过尖端技术弥合差距,将我们的实体产品带入数字领域,"Arhaus电子商务和数字高级副总裁Steve Bauer说。"我们相信3D技术在家居行业的未来有重要地位,这就是为什么我们很高兴与Meta合作。"
参考：
https://ai.meta.com/blog/digital-twin-catalog-3d-reconstruction-shopify-reality-labs-research/
—— End ——
今日社区内容汇总：AI商业化 | 方案库 | 数据库 | 经验等）:
1、近期最佳，AI一键文本生成360度全景图/3D场景，适合做VR、AI 3D产品化的创业者：
https://t.zsxq.com/89WfS
2、《纽约时报》获得了 OpenAI 融资轮的相关文件，几个关键点：
https://t.zsxq.com/0FVaV
3、【方案库】这个AI 3D重建方案还挺有意思的，戴着AR眼镜将在世界空间中以3D形式重建：
https://t.zsxq.com/JWx2B
4、【经验SOP】企业部署大模型业务/AIGC产品的最小化流程和必备清单：
https://t.zsxq.com/TZIyY
5、【数据库】AI公司到底赚不赚钱？比传统SaaS公司收入增长速度快5倍：
https://t.zsxq.com/evlnq
6、国外XR KOL如何看待Meta Connect大会（关于XR产品的战略 ）
https://t.zsxq.com/mjJle
7、近期最佳，分享一个XR播客平台，内容更新非常快，包含创业访谈、XR产品经验、XR大空间等内容，更新频率高，有文字稿，适合XR赛道的创业者和从业者：
https://t.zsxq.com/4CTkF
8、【经验】你应该用AI构建什么 - 分析400家由Y Combinator支持的AI初创公司：
https://t.zsxq.com/14OBE
9、今天看小扎最新采访说到“2030年智能眼镜取代手机”，翻到了Meta在AR+AI的10年产品路线图（2016年制定）
https://t.zsxq.com/t3Xut
10、同步最近在看的AIGC+3D的方案：【一张图片生成数字人的3D发型】
https://t.zsxq.com/LZRTe
如何查看：扫码进入社区
