奇绩潜空间活动报名 | 李卓翰—— vLLM : 构建高效的开源 LLM 推理引擎

文摘 2024-09-23 21:30 北京

【奇绩潜空间】第四季第一期我们邀请到的嘉宾是 vLLM 创始团队成员——李卓翰，他将给我们带来《vLLM : 构建高效的开源 LLM 推理引擎》（vLLM：Building Efficient Open-Source LLM Inference Engine）的分享。

奇绩潜空间是 GenAI 时代冲得最快的一批科研学者/从业者/创业者聚集的 AI 人才社区，我们定期邀请大模型前沿创业者分享产品实践探索，邀请前沿科研学者分享最新技术进展。除嘉宾分享外，每期在北京和上海线下都设置了【匹配合伙人 Cofounder Matching】环节。在这里你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流（往期参与者大多是来自大厂的算法工程师、架构师、AI 产品经理、创新战略部经理及创业者们）。这是一个能让你拓展人脉、碰撞思维火花、共同探索创新之路的平台。你可以在这里找到一起讨论相同研究方向、解决技术问题的伙伴，甚至有机会找到志同道合、有共同创业梦想的朋友。

此外，我们创建了「大模型推理创业者交流群」，欢迎添加小助手进群交流互动。

活动介绍

【分享嘉宾介绍】

李卓翰是 vLLM 创始团队成员，加州大学伯克利分校博士生，专注于机器学习系统的研究，研究的主要内容涉及优化系统以提高机器学习算法和模型的执行速度，以及如何在大规模场景下实现更高效的多任务并行处理。李卓翰在计算机科学和人工智能领域有着丰富的背景和经验，尤其在优化和提升大型语言模型的性能方面有显著贡献，目前主要负责 vLLM 的高层框架设计与开源社区管理。

vLLM 从加州大学伯克利分校的一个 Demo 项目成长为全球范围内最受欢迎的开源大模型推理加速框架之一，发展迅速。其作为一个开源的大模型推理加速框架，以 PagedAttention 为核心算法，突破了模型部署常常受到推理速度过慢、GPU 利用率过低的阻碍，已经可以支持 30+ 生成式大语言模型，能够做到与 Hugging Face Transformers 相比 24 倍的吞吐量，不断突破 AI 技术的极限。

【活动时间】

北京时间：9 月 28 日 10:00 - 13:30

【活动地点】

北京线下 / 上海线下 / 线上均有场次

（具体见活动短信/邮件）

【活动报名】

扫描下方二维码，填写信息完成报名

（找到奇绩校友帮忙推荐，可增加报名成功率）

（提醒：报名的小伙伴联系小助手获取往期潜空间嘉宾分享笔记）

加入 #奇绩创业社区#

扫描创业营二维码，提交奇绩创业营申请表，即可【免费】加入社区，【滑动】查看并免费领取创业社区独家资源：

奇绩创坛

像联合创始人一样，手把手与你一起创业。奇绩创坛成立于2019年，使命是在源头最大化驱动创新，核心产品是创业营，每年举办两届，陆奇博士和合伙人全身心投入3个月，通过创业营投资加速，提供长期帮助。

最新文章

专访中国国际大学生创新大赛获奖者：共绩科技创始人付智

硅基流动袁进辉：AI Infra 创业 10 年得与失 | 奇绩潜空间活动报名

奇绩创业公开课——复旦 2024 秋季线下开课

奇绩女性创业者大会（完整议程和嘉宾名单）

从基流科技看，国内千卡到万卡算力集群建设的前沿

创业初期打造好团队的5个关键点

奇绩潜空间活动报名 | 阶跃星辰朱亦博：关于全栈式 AI Infra 设计与搭建的思考

奇绩创业公开课——北大清华 2024 秋季线下开课

奇绩校友融资新闻 | 「极佳视界」完成连续三轮融资，致力从视频生成走向 4D 世界模型

活动报名 | 奇绩校友创业经验分享

奇绩潜空间活动报名 | 李卓翰—— vLLM : 构建高效的开源 LLM 推理引擎

「如身机器人」完成数千万天使轮融资，首款多合一智能康复机器人已量产丨奇绩校友融资新闻

从技术到实践，交流 AI Infra 创业历程与经验 | 【奇绩潜空间】第四季开始报名

奇绩创坛 Campus Scout Program 招募（2024秋）

第三届女性创业者大会｜活动报名

如何融第一笔钱：见投资人前的准备步骤

奇绩创坛 Fellow Program 招募（2024秋）

活动报名 | MiniMax 闫俊杰：Intelligence with Everyone

大模型相关的产品化路径思考｜奇绩大模型笔记 #3

奇绩创坛实习生招募（2024秋）

Dream Machine：从视频理解 3D｜Luma AI 首席科学家宋佳铭亲述

初创企业如何为产品定价？

活动报名 | 多模态大模型：以视觉为中心的探索

如何快速验证产品价值与用户需求是否匹配？

奇绩视角下的 Scaling Law（规模定律）｜奇绩大模型笔记 #2

活动报名｜创业者自组织会议（AI Unconference）

通用智能的本质｜奇绩大模型笔记 #1

活动报名 | 奇绩校友创业经验分享

如何做简单高效的用户调研？

活动报名 | 高效长文本生成的技术与应用

活动报名 | 揭秘高效长文本生成，让模型更高效、更智能

创始人之间如何分配股权？

初创公司早期如何换方向（Pivot）？

31 家机器人创业公司，链接产业核心企业和应用场景｜奇绩创坛产品日

给创业者的「视频生成/多模态」前沿技术与创业实操盘点

如何找到联创，建立创始团队？

活动报名 | 从视频理解 3D，与 Luma AI 首席科学家对话

如何找到一个好的创业想法？

早期创业融资指南：资本市场现状及给创业者的融资建议

探讨大模型前沿技术与商业化落地 |【奇绩潜空间】第3季开始报名

年轻人应该考虑创业的三个理由

给「AI 推理」创业者的前沿技术与商业实操盘点

创业者自组织会议（AI Unconference）｜活动报名

提交即享，奇绩创业社区资源介绍

“认识你自己”：创业者性格测试

欢迎报名奇绩创坛产品日（机器人主题）

如何撰写简单有效的商业计划书（BP）

初创公司搭建最初的销售团队要点

活动报名 | 对话大模型推理优化（美杜莎）论文作者蔡天乐【奇绩潜空间Ⅱ】

奇绩创业公开课——清华大学线下开课啦！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉