GAMES 2024在港科广举办，共探世界模型与具身智能前沿

学术 2024-09-25 21:59 广东

9月21日至22日，由中国计算机学会主办，中国计算机学会计算机辅助设计与图形学专委会、香港科技大学（广州）承办的第九届计算机图形学与混合现实研讨会（GAMES 2024）在广州举行。GAMES作为图形学及相关领域最具影响力的研究和交流平台之一，本年度线下会议聚焦“世界模型与具身智能”主题，迎来了百余位全国各高校院所和企业界的专家参会。

9月21日，第九届计算机图形学与混合现实研讨会（GAMES 2024）正式开幕，开幕式由程序委员会主席香港科技大学谭平教授主持。香港科技大学（广州）倪明选校长在开场致辞中表示，近年来三维图形学与视觉技术取得了显著发展，生成式人工智能在多个领域展示了强大的影响力和广泛的应用前景。港科大（广州）致力于搭建三维内容的公共平台，欢迎更多合作机会，共同推动这一前沿领域的发展。

● 香港科技大学（广州）倪明选校长

大会主席浙江大学鲍虎军教授在致辞中回顾了GAMES的发展历程。GAMES最初以线上为主，后逐渐扩展至线下，吸引了越来越多的参与者。他希望通过研讨会加强科研进展的交流与分享，未来还计划与产业展开更多合作，推动技术落地与应用。

● 浙江大学鲍虎军教授

随后，大会主席北京大学陈宝权教授作了题为《从图形计算到世界模型》的主旨报告，分享了他从图形仿真角度对世界模型的思考。世界模型的目标是实现对世界的模拟、预测与规划，目前面向文本及视频生成的大模型已初步展现出这些特质，但仍处于起步阶段。陈教授接下来提出了通过图形仿真技术来提升世界模型构建的新路径，包括：数据增广、强化学习环境，以及基于可微物理的训练监督，成为未来空间智能、具身智能等新兴人工智能领域发展的关键。

● 北京大学陈宝权教授

清华大学鲁继文教授分享了对《可通用视觉世界模型》的见解。他指出，大模型的典型特征是通用性，而视觉世界模型应具备数据、任务和架构的通用性，帮助理解外界环境的演化。鲁教授进一步探讨了世界模型在视频生成、自动驾驶和具身智能中的应用与发展前景。两位教授的主旨报告共同探讨了世界模型与人工智能的发展趋势。随着技术的不断进步，未来有望看到更多科研成果的转化与应用，也期待更多合作的机会，为行业带来新突破。

● 清华大学鲁继文教授

大会紧接着进行了世界模型主题专题论坛，由中国科学技术大学刘利刚教授主持。浙江大学黄劲分享了对世界模型的理解，强调物理先验在模型构建中的重要性，以及通过自动化、大规模生成高质量数据为具身智能和世界模型研究提供支持。清华大学杜韬探讨了深度学习如何帮助物理仿真，展示了利用神经网络替代传统物理建模、离散化和时间积分的方法，推动仿真效率的提升。来自快手的陶鑫重点探讨了生成模型中的世界知识问题，分享了可灵“文生视频”平台的进展，涵盖了空间、时间、物理知识的建模以及因果关系推理与概念组合。香港中文大学李鸿升介绍了团队的多模态生成模型，Lumina-T2X和Lumina-mGPT，分别通过流匹配扩散模型和自回归模型实现了文本到多模态的生成，并预测自回归模型将在未来多模态任务中发挥重要作用。

浙江大学黄劲

清华大学杜韬

快手陶鑫

香港中文大学李鸿升

在圆桌论坛中，专家们围绕“世界模型”的定义、建模和应用展开讨论，现场还就物理建模与数据驱动模型的融合等问题展开深入探讨。

21日下午的议程以具身智能为主题，浙江大学周晓巍主持了本场具身智能特邀报告。浙江大学熊蓉教授作了题为《人形机器人智能感控技术研究》的主旨报告，详细介绍了人形机器人近二十年的科研发展与商业探索。她指出，随着人力资源短缺和智能制造对新质生产力的迫切需求，人形机器人正迎来重要的发展窗口期。她还提到了两个支撑人形机器人发展的核心因素：产业链的完善和技术链的飞速进展。她强调，人形机器人智能感控是具身智能领域面临的最大挑战之一，并展示了她的团队在鲁棒运动感控、移动作业感控、安全保障技术等方面的研究进展。

● 浙江大学熊蓉教授

国防科技大学徐凯教授带来了《多模态感知与交互技术》的前沿进展，特别是面向具身智能的高层次任务如何实现主动、持续和长程感知。他指出，具身智能不仅仅依赖于语言和文本，还需要结合多模态信息进行高效的三维感知与交互。关键技术包括三维几何感知、物体抓取策略学习、多模态大模型驱动的室内物品整理机器人等。通过分享他们的研究，两位教授共同展现了具身智能在未来人工智能领域中的广阔应用前景，特别是在机器人感控与多模态交互方面的关键技术突破。

● 国防科技大学徐凯教授

在具身智能专题论坛中，香港大学罗平分享了多模态视角下大模型的发展对具身智能性能提升的帮助。清华大学弋力以组内最新论文为切入点，分享了对机器人决策和动作训练方面动作捕捉和高精度数据的重要性，以及目前具身智能的发展应着重于小型任务的优良解决再不断扩展到通用任务的科研思路分享。上海科技大学顾家远分享了在Real2Sim领域关于高效处理仿真数据的具体案例，展现出仿真数据在具身智能领域对提升决策能力学习的重要帮助。香港科技大学（广州）梁俊卫主要介绍了具身智能在通用任务中的最新进展和商业落地前景。

香港大学罗平

清华大学弋力

上海科技大学顾家远

香港科技大学（广州）梁俊卫

随后，香港科技大学谭平教授主持具身智能圆桌论坛，由自动驾驶这一当前的商用场景切入，探讨了具身智能的商业模式与近年可能落地的科研方向，以及与大模型结合共同发展的前景。

大会紧接着回顾了去年会议的3D-AIGC主题，由香港中文大学（深圳）韩晓光主持。在论坛上，来自VAST的曹炎培分享了其AIGC产品在纹理贴图质量提升方面的最新进展。来自太极图形的刘天添分享了其AIGC产品在生成速度和多视角一致性提升方面的最新进展。南京大学姚遥从3D和多视角数据的角度强调了对3D AIGC任务中数据的决定性作用，包括数据多样性，多尺度表达能力，多视角一致性等。香港科技大学龙霄潇以最新发表Craftsman为切入点，强调了开源社区对AIGC的巨大帮助，并鼓励商业产品开源部分模型和数据来促进整个社区的良性发展。来自影眸科技的张启煊分享了当前3D-AIGC的生成质量和工业界艺术家需求之间的差距，并强调通过艺术家的评测指标可以有效指导未来AIGC发展的优化路径。

VAST 曹炎培

太极图形刘天添

南京大学姚遥

香港科技大学龙霄潇

影眸科技张启煊

随后，韩晓光针对各位讲者围绕AIGC的生成质量、可编辑能力、生成速度等分享进行了问答式访谈，引发全场对AIGC未来发展的深入思考与讨论。

分组研讨

22日上午举行了世界模型和具身智能主题的分组研讨，与会专家们结合自身的专业领域，围绕三维生成等前沿技术问题，展开了内容丰富、精彩纷呈的深入研讨。

在第一组讨论中，南京大学姚遥、香港科技大学龙霄潇携太极、上科大、西湖大学等机构的资深研究人员探讨了世界模型的定义与发展。专家们认为，世界模型需具备记录过去和预测未来的能力，并提出专用化是当前的最佳方案。讨论进一步涉及世界模型在自动驾驶中的应用、时空逻辑、生成模型等领域，专家们纷纷分享观点，认为世界模型的构建离不开简化与优化，视频生成和三维生成技术则被视为未来的发展重点。

第二组讨论由香港科技大学（广州）陈颖聪和清华大学杜韬主持，聚焦世界模型主题。与会专家深入探讨了世界模型的核心特征及其应用，指出仿真工作可视为世界模型的早期形式，强调输出表达的重要性。大家一致认为，世界模型应具备状态转移、持续学习和常识性，并结合专用与通用模型。讨论还涉及其在游戏、物理仿真、3D重建和多传感器融合中的应用前景，并特别提到仿真未必追求绝对真实，近似也可满足需求。

第三组讨论由清华大学弋力和香港科技大学（广州）梁俊卫主持，专家们围绕具身智能主题展开深入交流，涵盖仿真技术、空间智能等领域。根据与会专家的专业领域，会议探讨了“Embodied RAG”，关注了Sim2Real与Real2Sim问题，也涉及了计算机视觉与整身控制，以及仿真技术在机器人中的应用等。讨论揭示了仿真与现实之间的复杂转换，特别是在竞技体育与工业场景中的应用潜力。专家们认为，优化世界模型将进一步提升具身智能系统的性能，并为未来技术发展提供新方向。

第四组讨论由香港科技大学（广州）宋杰和李昊昂主持，专家们围绕具身智能展开了深入交流，涵盖图形学在空间信息表达、物体运动及感知中的关键作用，尤其是在机器人三维建模与深度感知方面的应用。此外，大家探讨了自动驾驶技术向具身智能领域的迁移以及如何通过大模型优化复杂任务的处理。与会专家一致认为，具身智能的未来不仅依赖技术创新，还需跨领域合作，共同开拓新的应用场景，从而为未来研究指明方向。

会议最后，各组组长对上午的分组讨论成果进行了汇报，并由大会主席陈宝权、鲍虎军主持全体讨论。陈宝权教授呼吁学术界与工业界进行深入合作，共同构建相关领域的数据集，得到了来自工业界研究者的积极响应。鲍虎军教授展望了世界模型与具身智能的未来发展方向，以及相关技术在感知、预测与交互等方面广阔的应用前景。

北京大学陈宝权

浙江大学鲍虎军

南京大学姚遥

清华大学杜韬（左）、香港科技大学（广州）陈颖聪（右）

清华大学弋力

香港科技大学（广州）李昊昂

GAMES指导委员会对本次会议在香港科技大学（广州）成功举办表示赞赏，对香港科技大学（广州）王泽宇、深圳大学胡瑞珍以及全体志愿者的组织工作表达感谢。GAMES 2024在与会专家意犹未尽的讨论中落下帷幕，期待明年的GAMES线下会议更加精彩！

供稿丨王泽宇、王炳元、闫哲、GAMES志愿者团队

编辑丨INFH

关注

我们

SOCIAL

MEDIA

http://mp.weixin.qq.com/s?__biz=MzI0MTY1NTk1Nw==&mid=2247496802&idx=1&sn=db25a7ca227057ddc28f5137fad1be96

图形学与混合现实研讨会

GAMES官方公众号。GAMES主页:http://games-cn.org/

活动通知：GAMES Webinar347期-高性能物理仿真的设计与实践（11月7日）

活动通知：GAMES Webinar346期-Advanced Interactive AI Systems（10月31日）

活动通知：GAMES Webinar345期-交互式设计在数据降维和矢量图创建中的应用（10月24日）

活动通知：GAMES Webinar344期-智能图表生成与风格化（10月17日）

活动通知：GAMES Webinar343期-知识驱动的多模态数据探索（10月10日）

GAMES 2024在港科广举办，共探世界模型与具身智能前沿

活动通知：GAMES Webinar342期斯坦福-港大前沿技术交流之计算成像专题 (V)(9月28日)

活动通知：GAMES Webinar341期-高斯泼溅建模与渲染的前沿进展（9月26日）

活动通知：GAMES Webinar340期-智能CAD模型生成（9月19日）

GAMES视频号SIGGRAPH Asia 2024成果展示视频征集

活动通知：GAMES Webinar339期-几何配准与生成（9月12日）

GAMES003 “科研修炼手册” 主题研讨会通知

活动通知：GAMES Webinar338期-智能几何处理与生成（9月5日）

新增GAMES003《科研基本素养》课程答疑群进群渠道

GAMES003《科研基本素养》开课通知

活动通知：GAMES Webinar337期-弱约束视觉重建：从数字人到物理仿真（8月29日）

活动通知：GAMES Webinar336期-相机可控的视频生成模型（8月22日）

GAMES要开视频号啦！

活动通知：GAMES Webinar335期-Diffusion和大模型在low-level视觉中的应用（8月8日）

活动通知：GAMES Webinar334期-三维匹配问题前沿（8月1日）

活动通知：GAMES Webinar 333-Creative Applications in AR/VR（July 26th）

活动通知：GAMES Webinar332期-3D人-物-场景建模（7月18日）

活动通知：GAMES Webinar331期-虚拟场景的内容感知与生成（7月11日）

2024 年度“优秀图形开源项目”公开征集

活动通知：GAMES Webinar330期-Physics-based Inverse Graphics（7月4日）

活动通知：GAMES Webinar329期-CAD程序语义注释与曲线参数化新进展（6月27日）

活动通知：GAMES Webinar328期-CAD/CAM技术新进展（6月20日）

活动通知：GAMES Webinar327期-智能CAD（6月13日）

活动通知：GAMES Webinar326期-CAD/CAE技术新进展（6月6日）

活动通知：GAMES Webinar325期-研究生成长论坛：获奖论文的养成之路（5月30日）

活动通知：GAMES Webinar324期-多场景下可视分析系统设计（5月23日）

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉