海内外专家共话大模型、Rust、具身智能等最新进展,GOSIM CHINA 2024圆满收官!

文摘   2024-10-18 23:19   北京  

10 月 18 日,GOSIM CHINA 2024 迎来了其第二天的精彩活动。作为由 GOSIM 开源创新汇主办,CSDN 承办的开源技术盛会,今天的活动不仅延续了昨日的热烈氛围,还在六大技术论坛中掀起了新的高潮,涵盖的主题包括 AI 模型与基础设施、具身智能、下一代互联网、应用开发、Rust 编程语言,以及下一代媒体与终端设备。此外,还有五个互动工作坊(WorkShop),分别聚焦嵌入式 Rust、Flutter、软件定义汽车以及 Rust 编译器等领域,为参会者提供了深度学习和交流的机会。


10 月 16 日大会精彩回顾


大模型下半场:AI 模型构建新应用

在今天的 AI 模型与基础设施论坛中,来自华为、英特尔、Linux 基金会、北京航空航天大学、GitCode 等组织的资深技术专家与一线工程师汇聚一堂,不仅分享了他们在各自领域的独到见解,还深入讨论了大模型构建框架、应用开发以及社区等方面的话题。

构建 LLM 时,人人都想要高速、低成本的大模型,那究竟该怎么做?vLLM 核心贡献者游凯超分享了一款简单、快速且低成本的大语言模型(LLM)服务解决方案——vLLM,这是由伯克利大学 LMSYS 组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐量与内存使用效率。而在大模型时代进行开发,华为主任工程师、openMind 架构师马勇表示,OpenMind 应用使能套件不仅提高了融合运算符的效率和实现了容器的自适应版本管理等功能,还显著降低了 NPU 的开发门槛。北京航空航天大学研究员、LLaMA Factory 作者郑耀威在本次分享中详细剖析了 GitHub 上知名的 LLaMA Factory 大模型训练框架的构建动机与组成模块,帮助开发者更深入地了解了上百种大模型的全栈微调适配原理,以及 LoRA 算子优化加速方法等关键技术点。MoFA 项目负责人吴宗寰指出,MoFA 作为一个灵活的自适应框架,旨在简化 AI 应用程序的开发过程,使得开发者能够更容易地集成和优化各种模型。

在将大模型落地过程中,宾夕法尼亚州立大学助理教授、AutoGen 联合创始人吴清云分享了用于具身人工智能的开源编程框架 AutoGen 的细节,它的特点之一是对话式智能体,这意味着任何 Agent 都可以通过对话的方式与框架内的其他 Agent 进行交流,由此赋予框架极高的灵活性、扩展性和易用性。对于当前行业普遍关注的 AI 安全问题,Linux 基金会研究员 Cailean Osborne 结合欧盟 AI 法案,与组织和开发者共同讨论如何在确保技术创新的同时,满足法律要求并负责任地推动 AI 发展。聚焦国内,GitCode 产品与解决方案负责人崔志康表示该团队结合自身探索经验,已经为中国的开发者构建了一站式的 AI 生态系统——AI Hub,助力快速创新。随即,CantorAI 及 The XLang Foundation 联合创始人、电子科技大学副教授李龙江分享了基于专为人工智能和物联网应用设计的下一代编程语言 XLang 来构建 xMind AgentFlow 框架的实践经验。英特尔软件与先进技术事业部高级软件工程师张怀龙指出,高效编排、工作负载重用以及降低基于 LLM 的应用部署障碍等挑战仍然是企业面临的关键障碍。为此,英特尔推出了开源项目 OPEA(企业 AI 开放平台)并探索出了旨在优化 AI 工作负载动态编排的工具 GMC(GenAI 微服务连接器)。

内存安全的编程语言 Rust,8 大专家详解在实际开发中究竟怎么用!

Rust 语言凭借其独特的特性和高效的性能,逐渐成为了开发者们热议的焦点。今天的 Rust 编程语言论坛成为了一场程序员的聚会,来自清华大学、vivo、Rust for Linux 团队和 RustNL 基金会的专家们分享了 Rust 在编程中遇到的挑战与解决方案。

Ferrous Systems 联合创始人 Florian Gilcher 表示,Rust 已经被视为开源安全倡议的领跑者,但是在功能标准、静态分析等维度依然存在一些挑战,为此,该团队构建了专为安全关键环境设计的 Rust 编程语言工具链——Ferrocene 项目,旨在解决 Rust 在应用于汽车、工业控制以及其他对安全性有极高要求的领域时面临的挑战。现实来看,把 Rust 引入 Linux 内核并不是一件容易的事情,Rust for Linux 项目核心成员 Gary Guo 也同样认为,为帮助开发者更好地理解 Rust 在内核层面的应用,其在本次演讲中着重阐述了 Linux 内核中 Rust 的基本原语。尽管 Rust 被视为一种安全的语言,但由于其学习曲线较为陡峭,许多开发者仍感到难以入手,对此,Rust 领导委员会语言代表 Jack Huey 发布了 Rust 项目新手指南,旨在帮助新成员和团体更轻松地参与到 Rust 社区中来。ZettaScale 软件工程师 Yuyuan Yuan 表示,在快速发展的 V2V 通信、自主系统和机器人技术领域,对高效、可扩展的分布式系统的需求至关重要,其团队基于 Rust 语言实现了一款轻量级的数据融合与控制框架 Zenoh,旨在为边缘计算、物联网和实时应用提供新的可能性。

论坛的下午,vivo 系统架构专家陈爽分享了 vivo BlueOS 使用 Rust 开发的经验,其表示,vivo 之所以自研 Rust 内核,主要是从框架与内核 unsafe 对接、团队内部对内核有更多能力诉求以及自身深厚技术积累等维度考虑。清华大学软件研究所副所长陈渝指出现有的通用 OS 与实时 OS 已经难以满足当前硬件和应用的发展需求,如今需要研究定制操作系统内核高安全关键技术,实现智能驾驶系统全方位安全保障。RustNL 基金会董事 Wouter Geraedts 认为,在 C 语言中为嵌入式外设添加一个现有的开源驱动程序是非常糟糕的体验。然而,得益于 Rust 语言本身及其嵌入式生态系统,Rust 使得开发开源嵌入式驱动变得轻松。最后,Wasmtime 核心贡献者 Alex Crichton 表示,尽管 Rust 编程语言以其安全性保障而闻名,但在某些情况下,项目可能被迫使用 unsafe 代码。


一套代码,多端运行,这里有 App 跨开发的最新进展!

App 开发论坛聚焦于移动应用开发的最新趋势和技术挑战。本场论坛中,来自 Makepad、Kotlin、React Native 等代表分享了他们在构建高性能、跨平台、用户友好的应用程序方面的经验教训,以及如何利用最新的编程工具和技术来提高开发效率。

Makepad 创始人 Rik Arends 表示,Makepad 利用 GPU 加速的技术栈,能够在 Web、Android、iOS、macOS、Linux 和 Windows 上原生运行。跨平台开发现在不乏有一种新选择,Kotlin 技术布道师圣佑表示,利用 Kotlin Multiplatform,开发者能用一个编程语言,开发支持移动端、桌面端、前端到服务端的多平台应用。React Native 软件工程师 Patryk Klatka 和 Tomasz Żelawski 透露,React Native 现在已经不局限于 iOS、Android 平台,同样可以在 Windows 和华为的 OpenHarmony 使用,这无疑也利好国内开发者。软件工程师、构建系统黑客 Cassaundra Smith 强调,随着软件复杂性的增长,现有的构建系统工具已经显得力不从心,Quake 作为一个与任何技术堆栈兼容的跨平台构建系统,应运而生以应对这一挑战。

在精彩继续的下午场,ArkUI-X 跨平台技术专家晏国淇介绍了 ArkUI-X 如何助力开发者一次开发即可在 Android 和 iOS 上部署鸿蒙原生应用,实现多平台复用。TDCare 医疗 CEO 兼创始人谭宗威与开源贡献者傅钰分享了 Rust 在 HarmonyOS 应用开发中的应用经验。DioxusLabs 软件工程师 Evan Almloff 探讨了 Kalosm 如何利用 Rust 实现高性能的数据结构化生成。Xilem 项目维护者 Daniel McNab 则向与会观众展示了 Masonry 如何通过解耦状态管理和底层行为来开发高性能 GUI 框架,并提供了比 Web DOM 更灵活的控件集。

具身智能的最新进展

在 AI 技术的不断进步下,「具身智能」作为连接虚拟与现实世界的桥梁,正逐渐成为科研界和产业界关注的新焦点。从机器人技术到增强现实应用,再到更加自然的人机交互方式,这个领域想要真正落地还面临着许多技术挑战。为此在本场主题论坛中,来自学术界、工业界的多位杰出专家通过深入浅出的演讲,全面揭示了未来该如何实现更加自然的人机交互体验。

深圳市人工智能与机器人研究院具身智能中心主任刘少山围绕 AIRSHIP 项目进行了演讲,他表示 AIRSHIP 的使命就是提供一个易于部署的软件栈来解决具身 AI 中的软件复杂性问题。基于动作捕捉技术对构建具身智能的重要性,诺亦腾联合创始人&首席技术官戴若犁介绍了诺亦腾的动作捕捉解决方案及其在人机映射方面的作用,还分析了不同机器人数据集生产方式的特点,并强调建立大规模具身智能数据工厂的必要性。随后,1ms.ai 创始人陶海轩展示了如何利用 dora-rs 简化机械臂 AI 模型的调整过程,使得机器人能够更轻松地自主完成任务,即使是非专家也能快速上手训练机器人执行特定工作。Dimforge 创始人 Sébastien Crozet 则带来了开源物理引擎 Rapier 的最新进展,并基于此分享了其团队在分布式物理仿真方面的研究成果及性能优化策略。

来自清华大学的计算机科学与技术系教授刘华平聚焦“具身协同导航与交互学习”主题,深入剖析了复杂高动态环境下,机器人感知与学习面临的迫切需求,并分享了如何利用异构多机器人的感知与学习能力实现集群增效与行为涌现的最新研究进展。提及人形机器人开源生态的构建,人形机器人(上海)具身算法总监田翀分享了 OpenLoong 社区从无到有的故事。他强调,OpenLoong 社区不仅致力于推动人形机器人具身智能技术的进步,也会解决开发者面临的一些共同挑战。最后,睿尔曼智能科技联合创始人张旭龙以“打破边界——探索机器人终局”为题,讨论了如何超越现有局限,探索机器人技术的未来边界,为本场论坛画上了圆满的句号。

下一代互联网的蓝图

围绕「下一代互联网」这一主题,来自全球各地的一线专家和行业领袖也展开了深入交流与探讨。从更智能、更安全的数据处理方式,到支持万物互联的新一代网络架构,他们不仅分享了对当前技术趋势的独到见解,也描绘了未来互联网世界的美好蓝图。

论坛伊始,Second State 创始人兼 WasmEdge 创始人 Michael Yuan 提到了 WebAssembly(Wasm)作为构建 API 优先和代理互联网通用运行时的潜力。他指出,Wasm 不仅跨平台且与语言无关,还能够嵌入到多种类型的应用程序或 SaaS 中,并深入讨论了其在无服务器功能、工作流程自动化、web3 智能合约乃至AI代理等领域的应用前景。考虑到当前互联网面临的真实性挑战,Futurewei 技术战略高级总监 Wenjing Chu 认为,在缺乏可靠框架确保各方间相互信任的情况下,AI 技术难以被广泛接受,而 TSP(信任跨越协议)正是解决这一问题的关键所在。随后,针对网络空间中存在的安全、隐私和信任问题,Gen 信任服务总监 Drummond Reed 介绍了 The Global Acceptance Network(GAN)这一新型数字公共基础设施。他表示 GAN 旨在通过采用开放标准的数字钱包、凭证和信任注册表来加强个人、组织乃至设备之间的数字信任关系,从而创造一个更安全可信的网络环境。Wasmtime 核心贡献者 Alex Crichton 分享了关于 WebAssembly 组件模型的概念,他解释说,该组件不仅保留了 WebAssembly 高效安全的固有优势,还能提供更强大的 API 设计能力,让开发者无论是在浏览器内还是外都能创建出可移植、可组合的应用。

在同样精彩的下午场,上海开源信息技术协会创始人张国锋探讨了开源教育对于培养下一代互联网(NGI)人才的重要性。在他看来,开源是数字经济时代的劳动教育,大学生通过参与开源项目能对数字经济运行模式及规则形成基本认知。珠海独角兽科技有限公司 CEO 王斌分享了关于浏览器裁剪的实践经验与思考,他通过一种创新的裁剪方法,展示了将 Chromium 浏览器裁剪至不到 10M 的可能性,为那些资源受限但又需要 Web 能力支持的平台提供了新的解决方案。考虑到现代 Web 引擎面对的复杂并发问题,Servo 技术指导委员会成员 Gregory Terzian 提到 Servo 作为一个旨在实现并行处理的 Web 引擎,在应对并发带来的挑战时采用了 TLA+ 这种数学语言作为工具。最后,Security Union 创始人 Dario Lencina 展望了实时网络通信技术的新发展,并以视频会议系统为案例,提出了一种超越传统 WebSockets 和 WebRTC 的技术方案:使用 Rust、QUIC、WebTransport 和 HTTP/3 来提升网络通信。


媒体与终端的革新

现如今,媒体与终端技术的革新,正以前所未有的速度改变着信息传播方式和人们的生活习惯。在「下一代媒体与终端」的主题论坛上,来自 Khronos Group、美国东北大学、字节跳动、ADAPS、中国移动咪咕等多位专家们分享了他们对于未来趋势的深刻见解和技术发展的前沿思考。通过他们的精彩演讲,我们或许得以一窥下一代媒体与终端将如何塑造更加互联互通的世界。

Khronos Group 亚洲区副总裁傅世雄首先介绍了元宇宙标准论坛——作为全球最大的专注于元宇宙标准制定的产业联盟之一,该组织致力于推动开放的元宇宙发展,为此他分享了关于该组织的历史、愿景以及当前活动和进展情况。聚焦可穿戴智能领域,OYMotion 首席运营官陈瑶介绍了神经手腕技术,这是一种创新方法,可利用佩戴在手腕上的传感器来收集生理电信号数据,用于健康跟踪和医疗诊断。立足于促进不同硬件平台上的生成式 AI 模型统一库及加速框架的发展,美国东北大学电子与计算机工程系教授王言治随后分享了 OminiX 项目,它旨在解决用户在应用不同基础模型时遇到的数据隐私和实时性挑战。王言治表示,有了 OminiX 这款“即插即用”的框架,多种生成式 AI 模型最先进的功能都可以在用户的本地设备上轻松实现。Gyges Labs 联合创始人兼首席人工智能科学家綦思源展望了可穿戴 AI 的未来,他认为下一代设备将通过全天候舒适度和直观界面重新定义人机交互方式,提供一种既不显突兀又紧密融入日常生活的个性化、互联体验。

而谈及 2D 和 3D 要如何完美融合,ADAPS 市场副总裁侯昌韬也给出了他的答案:SPAD(单光子雪崩二极管)图像传感器。他指出使用基于 SPAD 检测器形式的传感器,可以同时输出点云(距离)和图像(RGB 颜色),为视觉应用带来新的可能性。在提升沉浸式体验的技术基础之上,字节跳动 PICO XR Runtime 技术负责人刘志鹏随后介绍了 OpenXR 框架,并分享了其利用 OpenXR 开发身临其境的 MR 体验的方法。紧接着,围绕三维视频技术带来的全新视觉享受,中国移动咪咕北京研究院高级前端开发总监高山深入分析了下一代三维视频面临的挑战及其解决方案,包括采集重建、编码传输等关键技术环节,并结合研发实践对未来发展趋势进行了展望。

本场论坛的最后,在 Futurewei 开源战略总监 Mats Lundgren 的主持下,OYMotion 工程副总裁 He Bin、Gyges Labs 联合创始人兼首席人工智能科学家綦思源和 MeetKai Inc. Functionary 机器学习负责人 Musab Gultekin 共聚一堂,围绕《可穿戴 AI:创新可用性、隐私性和交互方式》主题展开了一场精彩纷呈的圆桌对话。


5 场 WorkShop 齐开,点燃开发者的动手热情

如同昨日现场的爆满,今天的大会继续设立了 WorkShop 环节,进一步强化了代码演示与实践分享的比重。基于理论与实践相结合的方式,参会者们不仅能够听到行业专家的精彩讲解,更有机会亲手实践,通过实际编写代码来加深理解与掌握嵌入式 Rust、Rust 编译器、Flutter 等技能。

在软件定义汽车峰会上,Eclipse Zenoh-Flow 开发负责人 Julien Loudet 表示,V2X(Vehicle-to-Everything)正在面临的可扩展性、移动性、边缘计算、网络恢复等通信方面的挑战,而 Eclipse Zenoh 被认定为是汽车领域中的关键协议,也是一种良好的解决方案。对于想要进入 SDV 行业的开发者,Autoware 基金会技术指导委员会主席 Ryohsuke Mitsudome 表示,该团队构建的 Open AD Kit 是一个旨在通过将云和边缘更紧密地结合来实现自动驾驶系统民主化的开发入门套件,通过整合云计算的强大处理能力和边缘计算的实时响应特性,能够有效降低自动驾驶技术的门槛。Embodied AI 基金会执行董事、英伟达模拟生态系统开发总监 German Ros Sanchez 表示,端到端解决方案正在逐渐成为自动驾驶领域的标准,CARLA 开源模拟器提供了一个多功能的平台,用于模拟各种场景,使研究人员和工程师能够在安全、受控的环境中开发和测试人工智能模型。“智能驾驶操作系统的开源存在诸多的挑战,其中最突出的是如何平衡功能安全要求与性能需求之间的矛盾”,OpenSDV 汽车开源联盟技术生态总监滕召智认为,传统的单核操作系统已经无法满足当前的需求,而混合内核则是一个可能的解决方案。

下午场中,Rust 基金会安全关键型联盟成员、Eclipse SDV 工作组成员 Pete LeVasseur 首先分享了开发一个开源框架的经验,该框架允许软件基于一组统一的 API 进行开发,并能在车载、云端及移动设备之间移植。Rust 开发者、“Writing an OS in Rust”系列文章作者 Philipp Oppermann 详细讲解了 Dora 框架,该框架利用共享内存和 Apache Arrow 实现跨不同编程语言的零拷贝消息传递。重庆邮电大学讲师岑汝平介绍了将自动驾驶框架 Autoware 移植到 Dora 环境,并成功在真实车辆上实现自动驾驶的过程。国汽智控技术委员会主任尚进讲述了 IEEE-SA 自动驾驶工作组(ADWG)发布的自动驾驶架构及其应用。ASAM 技术委员会委员周博林则对 ASAM 标准进行了详细介绍。

本次大会还特设了嵌入式 Rust WorkShop,英飞凌科技首席固件工程师 Tiago Manczak 指出,将 Rust 应用到嵌入式关键系统上一定要有一个结构化的计划,包括从工具、验证、可追溯性和认证等方面着手;嵌入式开发工程师许昌分享了嵌入式 Rust 产品开发的经验,并对比了与传统 C/C++ 开发方式的区别。RustSBI 项目维护者洛佳演示了如何在 RISC-V 架构上构建并运行完整的安全启动固件环境 RustSBI。HighTec 中国技术经理温吉辉提到汽车行业中使用 Rust 面临的挑战,包括对汽车 MCU 的支持有限、缺乏 ISO 26262 认证、第三方调试器支持不足、遗留的 C/C++ 代码库以及熟悉 Rust 的工程师短缺。资深嵌入式工程师 Zeeshan Ali Khan 展示了他开发的 zbus 库如何使 Rust 成为实现 D-Bus 服务和客户端的安全语言选择。

波特兰州立大学的计算机科学副教授 Bart Massey 在嵌入式 Rust 实践工坊中进行了题为《低级别编程:Rust 教育的“下一件大事”》的演讲。Massey 分享了他的学习经历,强调了从书籍和课程中建立基础,通过实践不断积累,并通过教导他人来巩固知识的重要性。他还讨论了 Rust 在 STEM 教育中的应用潜力,特别是在 Arduino 类的嵌入式系统中。Massey 认为 Rust 适合嵌入式教学,并能通过硬件项目激发学生兴趣。不过,他也指出 Rust 在前端开发方面尚有欠缺,创建复杂网站仍需依赖 JavaScript 或 TypeScript。虽然 Rust 对新手来说存在一些易错之处,但 Massey 认为这些问题将会被克服,Rust 正成为低级别编程教育的重要工具。

在 Rust 编译器实践工坊环节,来自 WyeWorks 联合创始人、 Rust 基金会项目总监 Santiago Pastorino,Rust 领导委员会语言代表 Jack Huey 共同主持了此次研讨会。在为期 3.5 小时的工坊中,他们详细地向参与者讲解了如何深入参与到 Rust 编译器的开发过程中,并提供了实用的指导和经验分享,帮助开发者们更好地理解和贡献于 Rust 社区的技术发展。

在 Flutter 代码工作坊中,Dart 与 Flutter 的产品经理 Kevin Moore 通过 Google Codelabs 平台提供的交互式教程,帮助开发者们深入了解 Flutter 框架的核心概念和技术细节,并通过实际操作完成了多个示例项目。


创新引领变革,开源迎风而上

最后,GOSIM CHINA 2024 成功举办既离不开所有行业专家们的干货输出和开发者的热情参与,同样也离不开合作伙伴们的鼎力相助,在此,特别感谢 Futurewei、深圳市人工智能与机器人研究院(AIRS)、智源人工智能研究院、安徽深信科创信息技术有限公司、GitCode、专注于研发以灵巧手和云端智脑为核心的具身智能平台灵心巧手、The Khronos Group 科纳斯标准联盟、睿类文特、非凸科技、灵明光子、傲意科技、Gyges Labs、清湛智造、Meetkai、蚂蚁开源、木兰开源社区、睿尔曼的大力支持。

至此,GOSIM CHINA 2024 大会的会议部分圆满结束。目前,大会还有一场如火如荼进行中的 GOSIM 具身智能比赛,参赛者们正全力以赴展现他们的技术和创意;与此同时,技术讨论会议也在紧锣密鼓地进行中,探讨行业前沿话题。我们满怀期待,相信接下来的活动将带来更多精彩的成果和深刻的洞见。

【活动预告】大模型正在颠覆互联网逻辑,从“连接”转向“计算”,推动智能供给的全面升级。在这场由大模型引发的技术变革浪潮中,全球开发者和技术专家正迎来前所未有的机遇与挑战。为了更好地探索这一变革趋势,由 CSDN&Boolan 举办的「2024 全球机器学习技术大会」将于 11 月 14-15 日在北京威斯汀酒店隆重召开。


AI科技大本营
为AI领域从业者提供人工智能领域热点报道和海量重磅访谈;面向技术人员,提供AI技术领域前沿研究进展和技术成长路线;面向垂直企业,实现行业应用与技术创新的对接。全方位触及人工智能时代,连接AI技术的创造者和使用者。
 最新文章