Vast 创始人&CEO宋亚宸：让每个人都能生成独一无二的3D模型

科技 2024-11-12 10:18 北京

宋亚宸 | Vast 创始人&CEO

在硅星人首届AI创造者大会（ACC 2024）上，Vast创始人&CEO宋亚宸分享了生成式3D的前沿进展。从最初360P级别的生成效果，到即将迈入4K时代；从专业建模师的专属领地，到人人都能zero-shot创作的开放平台；从静态模型到具备骨骼、动作的完整角色，3D生成正在重塑我们创造和交互的方式。作为中国引领全球的3D生成技术企业，Vast的Tripo模型为我们展示了一个令人振奋的未来：每个人都能成为自己世界的设计师。

以下为演讲实录：

大家下午好！今天给大家带来一些特别有趣的AI内容。我们公司叫Vast，是一家专注于3D大模型的公司，大家可能对3D大模型感到陌生，或许大家已经很熟悉语言、图像、视频大模型，以及海外的音乐大模型，其实3D领域也有属于自己的大模型。

我们的3D大模型叫做Tripo，其核心能力是通过输入一段文字或一张图片作为Prompt，甚至是多模态输入，例如图像、视频等，生成一个3D模型。这个模型的表达形式可以包含贴图、材质、PBR（物理基础渲染）等元素，它是一个有实用价值的完整3D模型。它可以应用于游戏、动画、元宇宙、3D打印、工业设计等多种领域，支持多样且富有细节的使用场景。

除了3D生成本身，我们还提供了各种处理功能，包括自动骨骼绑定和动作生成。这意味着，生成的3D模型不仅是静态的，还可以进行交互，具备动态效果。此外，我们还实现了风格化、格式转换等功能，欢迎大家直接在我们官网上体验 3D TripoAI 的功能。

官网链接：https://www.tripo3d.com/

从“文字”到“实体”，Tripo究竟“智”造了什么？

目前我们的3D模型生成技术发展到什么阶段呢？我们可以将其与图像大模型 Midjourney 的水平作比较：在今年年初，我们的技术相当于 Midjourney V3 的水平；到现在我们已经达到了V4的水平，预计明年年初可以达到V5甚至V6的水平。可以把它形象地比喻为：在今年年初时，我们的生成效果类似于手机摄像头的360P 分辨率，而现在的 Tripo 2.0 已经达到了 720P 的清晰度，明年我们有望实现 1080P 甚至 4K 的效果。这一进展基于去年发布的研究论文，表明我们在3D生成领域的核心技术模块已走在前列。作为中国公司，我们在3D生成的技术创新方面奠定了非常核心的技术模块和能力，包括六头六纵的CVPR等等。此外，我们还开源了许多有影响力的项目，包括全球最大的3D算法框架ThreeStudio，图生3D的鼻祖 Wonder3D ，以及全球最大的开源3D仿真生成模型。

我们的目标是在今年使静态的3D模型生成达到实用水平。当前生成的内容已经接近于拥有一年建模经验的建模师的水平，同时，我们正在推进双足及四足骨骼自动绑定、文字生成动作、视频生成动作等功能。预计明年，无论是我的外婆、我的孩子，还是在座的每一位，都可以零门槛、零成本地实时创造完整的3D内容和体验。

3D生成在CG、工业和元宇宙中到底有多“聪明”？

当前3D生成技术已经达到了相当成熟的水平，接下来我们来看一下这个技术在哪些场景中能够得到广泛应用，到2024年，我们发现主要有四大传统场景可以被AI 3D技术赋能。首先是传统的CG行业，包括游戏、动画、影视制作、虚拟制作等领域；其次是传统工业领域，特别是下半年我们重点关注的3D打印、工业设计、家居、首饰、玩具、灯具、香薰、蜡烛、文创等行业；第三类是新兴行业，比如元宇宙、XR、具身智能仿真模拟、数字孪生、数字人等应用场景；最后一类是传统的TMT行业，如社交、直播、教育、电商等。

到目前为止，作为一家专注于海外市场的公司，我们的海外开发者数量已经超过40万人，并拥有超过一万家中小客户，他们通过我们的API服务于自己的To B客户和To C客户，此外，我们还服务着400多家大客户。

那么，3D生成技术解决了哪些核心问题呢？首先，降低了建模成本，以前一个3D模型的建模成本可能需要数百美金，而现在生成成本已无限接近于零；其次，显著缩短了耗时，原来建模可能需要数周时间，而现在可以通过网络实时生成；此外，过去需要非常高级的硬件和专业建模师，现在这些要求已不再必要，这种技术还实现了3D模型的规模化生成，比如以前一个模型需要反复修改，现在可以生成数万个模型供挑选，这极大地提高了效率。

同时，3D生成技术还能够满足个性化需求，未来每个人都可以根据需求生成独一无二的3D模型，从而实现真正的定制化。这对于3D打印领域尤其重要，它分为家用3D打印和工业3D打印两部分，在家用3D打印领域，我们已经与全球前十的3D打印公司达成合作，过去用户购买3D打印机后，由于不会建模而无法使用，而有了3D生成技术之后，不管是老年人还是小孩，都可以直接打印出自己喜欢的模型，比如钢铁侠与皮卡丘的结合体，非常有趣。在工业3D打印方面，我们看到许多应用场景，比如食品、礼品和文创的3D打印，可以根据用户需求打印出个性化的产品。举个例子，上周我们在汕头与全球最大的积木厂商高砖合作推出了3D积木生成大模型，现在用户只需提供一张图片或文字描述，就可以生成属于自己的积木玩具。

我们与全球六七家最大的3D打印公司合作，共同举办了3D工业设计大赛，吸引了全球近千名工业设计爱好者参赛，创作了各式各样的国际象棋设计作品。参赛者只需提供文字和图片即可直接生成完整的3D模型，这些模型可以立即放入家用3D打印机进行打印，我自己也贡献了三套作品，虽然遗憾未能入围。

每个人都能成为自己世界的设计师

除了工业设计，3D生成还广泛应用于虚拟内容的创作。你现在看到的所有画面均来自Tripo1.4版本生成的3D内容，作为一个从未建过模的人，我用了一个早晨的时间，借助Tripo大模型创作出人生中第一个动画，还获得了入围奖。万圣节期间，我们也举办了相关活动，利用3D生成制作了许多有趣的视频和动画内容。

我们的用户中还有一些非常有创意的创作者，利用成千上万个Tripo生成的3D零件拼搭了一个太空站，这个作品在Twitter上被埃隆·马斯克转发，全球观看次数超过9000万次。现如今，通过3D生成技术，各种动画和游戏场景都能被秒级完成，例如《我的世界》这样的游戏，以前需要一年时间才能搭建的大型场景，现在不到5分钟就可以生成。

我们还与UGC内容平台、家居厂商等达成合作，在平台上用户可以快速生成各种大型的室内外场景。在元宇宙中，用户可以设计服饰、首饰、家居等3D元素，用于虚拟场景。无论是游戏、动画还是虚拟制作，3D生成技术都能快速进行调换、低成本地满足需求。

未来，随着UGC内容的增加，越来越多非专业建模师的人将能够通过文字和图片生成自己理想中的世界，诸如“海贼王”的海洋世界、“加勒比海盗”的冒险场景，甚至是“沙丘”中的神秘风光，都可以轻松打造，每个人都有机会成为自己最喜爱的游戏设计师。

此外，XR也是一个重要的应用场景。虽然目前XR和MR还未普及，但当它们真正普及时，3D生成将会成为一种全新的交互方式。用户只需发出指令，就可以即时生成场景和物品，例如为一个舞者生成舞台、为一个沙发配置绚丽的灯光等。这不仅仅是创作，更是一种表达，甚至可以成为3D日记，记录和分享每个人的日常生活与心情。

我们的使命是“为世界进文明，为人类造幸福”。大家有任何合作或感兴趣的创意可以随时找我。谢谢大家！

点个“在看”，再走吧

http://mp.weixin.qq.com/s?__biz=MzkyNjU2ODM2NQ==&mid=2247601867&idx=2&sn=6ca5e468ca5b6add3500d0ce67ed9386

硅星人Pro

硅（Si）是创造未来的基础，欢迎来到这个星球。

最新文章

一家中国公司，凭什么敢说自己是真正的“物理世界模拟器”？

对话清华章明星、月之暗面许欣然：Mooncake架构背后，如何用“炒菜”的思路实现推理的极致优化

人生搜索引擎免费用，开源版哈利波特“冥想盆”登GitHub热榜，支持中文

京东的逆势增长，其实没什么秘密

硅谷活动｜与Ray-Ban Meta产品经理、K Scale联创深入交流，讨论AI与硬件的一切

Mistral放大招！124B多模态巨无霸登场，免费版ChatGPT震撼突袭

Sora到底发布不发布，这事可能并不重要了

硅谷活动预告：来硅星人线下Meet up！探讨AI机器人与可穿戴设备未来

Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题

所有AI应用的尽头，是MBTI？

看着这个 AI 奶奶把骗子耍得团团转，可把我高兴坏了

Apple Silicon 才是苹果在AI上的“一盘大棋”

对话Hugging Face王铁震和零一林旅强：中国开源如何更好地被“看见”

杨植麟：最关心Kimi用户留存，无它

AI的风早已吹到小红书

大模型公司们创业未半，技术主心骨们却先弃船回大厂了？

B站盈利了，但市场最愿看到新方式

Scaling Law遭遇瓶颈，OpenAI被曝押注智能体“Operator”

钉钉就是想做AI时代的那个“超级有用”

AI Agent：从学术概念到增长驱动工具

OpenAI总裁出走3月终于归来！Greg结束「最长假期」专注重大技术挑战，每周狂肝100小时代码

对话李彦宏：大模型进化变慢是好事，百度从来没对标过OpenAI

稳坐新势力前三后，朱江明却说现在做增程已经没有太大必要了

Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

自动漂移、用LLM和扩散模型“折腾”机器人…顶会CoRL上最佳论文都在研究啥

Vast 创始人&CEO宋亚宸：让每个人都能生成独一无二的3D模型

天工开万物：大模型时代的具身智能新纪元

品牌解不了的流量困局，中小商家怎么解？

荣耀Magic7 Pro上手AI：它能完成自动驾驶，你也可随时接管

从C.ai出走的用户，在Kindroid AI开启“第二春”

李开复为什么这么忙

中国电动车刷赛道往事

曾经不可一世的星巴克，已经成了国产品牌们的垫脚石

AI产品榜·网站榜 10 月｜全球前 20 都在狂飙增长，增长破万“卷”！

当微软无法靠OpenAI猛拉云业务，Google Cloud“趁虚而入”了

百度智能云黄锋：从企业视角如何运用大模型应用开发平台

OpenAI o1太贵？那就自己做一个！纯提示方法让普通LLM进化出复杂推理能力

如何让token更聪明的流动｜对话硅基流动袁进辉和清程极智汤雄超

大电池小油箱，宁德增混电池的电化学奇思妙想

「黑神话」级3A大作AI实时游戏生成！港科大、中科大等祭出最强扩散Transformer，火爆国外

腾讯开源“最大”大模型：如果你也相信MoE，那咱们就是好朋友

讲座预告 | AI热潮下的冷思考：从诺奖突破到AI能力边界的探讨

手机秒拍动画大片，高级运镜效果惊人！Runway两弹更新，火得一塌糊涂

智谱AI COO 张帆：榨干端侧的每一分算力，做极致调优，让AI在硬件上非常能打

为了在AI时代做好“AI助手”，vivo做了哪些努力？

2024 国内 AI 应用花 24.5 亿，搞出 3 个月活 1000 万产品 | AI产品榜·应用榜 2024年10月

对话赵纯想：AI终让我能单枪匹马，自古颠覆大公司的都是我们

Meta 的智能眼镜，除了不太智能，哪儿哪儿都挺好

微软清华改进Transformer：用降噪耳机原理升级注意力，一作在线答疑

百万人投喂2000万，只为看一个“美食up主”？B站这是有了自己的《十三邀》啊

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉