预告｜CNCC 2024技术论坛：端侧大模型

“端侧大模型”论坛简介

报告题目：大模型知识密度定律与端侧智能

报告摘要：2018年以来大模型规模不断增大、产生智能涌现，验证了OpenAI提出的模型规模法则（Scaling Law），特别是ChatGPT的推出引发全世界对大模型技术的关注。面向未来，大模型的发展趋势是什么，就是不断增加模型参数规模以追求更多能力涌现么？本报告发现，过去大模型在印证规模法则的同时，还呈现知识密度持续增强的规律，可称为大模型知识密度定律。我们认为面向未来，我们更应从模型架构、成长算法和数据治理等方面不断改进模型制造工艺，提升模型制程，保证大模型知识密度定律的可持续，这将为我们揭示端侧智能的巨大潜力。

个人简介：刘知远，清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位，已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过4.6万次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖（第2完成人）、中国中文信息学会汉王青年创新奖，入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会理事、社会媒体处理专委会副主任，期刊AI Open副主编，ACL、EMNLP、WWW、CIKM、COLING等国际著名会议领域主席。

报告题目：端侧大模型的高效构建与应用

报告摘要：基础大模型是当前人工智能领域里程碑式的技术突破，也是支撑人工智能应用的重要基础设施。当前主流基础大模型主要在云侧部署，存在计算资源消耗过大的局限性，阻碍其在实际应用中的推广与普及，也对基础大模型自身的持续演进带来了挑战。本报告从架构改进、算法改进、软硬件协同优化等多个维度出发，介绍如何构建可在端侧部署的高质量大模型，实现对端侧设备的广泛赋能，缓解纯云侧部署大模型存在的问题。

个人简介：韩旭，清华大学计算机系助理研究员，主要研究方向为自然语言处理、大模型、知识计算。在人工智能及自然语言处理领域会议及期刊发表数十篇，Google Scholar他引8500余次。参与创建大模型开源社区OpenBMB，相关开源项目在全球最大开源社区Github累计获得5万余星标。相关成果曾获得教育部自然科学一等奖(排名第三)，世界互联网大会领先科技奖（排名第三）。曾入选中国计算机学会（CCF）优博激励计划、博士后创新人才支持计划、清华大学水木学者计划等人才计划。

报告题目：MiniCPM-V：迈向 GPT-4V 级端侧多模态大模型

报告摘要：多模态大模型飞速发展，成为人工智能领域的研究热点，但其实用化发展仍面临诸多挑战，如模型参数量大、计算成本高、视觉分辨率受限、幻觉多、多语能力弱等。本次报告将系统介绍 MiniCPM-V 系列高效端侧多模态大模型，聚焦于提升多模态大模型的知识密度和可用性。MiniCPM-V 具有性能领先、计算高效、支持高清多尺寸视觉编码、幻觉率低行为可信、语言覆盖面广等特点，支持端侧设备高效部署推理。最新版MiniCPM-V 2.6模型在单图、多图、视频理解三个核心能力上综合性能均实现了优于GPT-4V的效果，并支持端侧实时视频分析。本次报告主要内容包括：（1）在高效模型结构方面，通过统一高效图像编码技术，支持180万像素任意分辨率高清图像编码及多图、视频编码；（2）在高效训练方面，通过多模态多语言联合泛化技术支持30余种语言的多模态交互；（3）在高质量数据方面，通过多模态反馈学习技术，构造高质量偏好反馈数据减少模型幻觉。

个人简介：新加坡国立大学研究员，研究方向为高效端侧多模态大模型。发表顶会论文30余篇，相关成果入选 ICLR Spotlight、ECCV Oral、Nature Communications Editors' Highlights 等亮点推荐专栏。谷歌学术引用量 3700 余次，开源项目 GitHub 星标 2.6 万余次，开源模型下载量 150 万余次。主导构建高效端侧多模态大模型 MiniCPM-V 系列，其中 MiniCPM-Llama3-V 2.5 连续一周在 HuggingFace Trending 榜单排名第一，并在 GitHub Trending 和 Papers With Code Trending Research 排名第一。曾获 2023 年度吴文俊人工智能科学技术奖优秀博士学位论文奖、世界人工智能大会云帆奖、英特尔中国学术成就奖等。

报告题目：openKylin for AIPC技术及实践

报告摘要：大模型已成为全球技术焦点，需要用人工智能技术提升操作系统的智能化水平。在涉及商业机密或个人隐私、以及无法连接互联网等场景下，需要使用端侧模型来构建操作系统的智能引擎。本报告将介绍团队在“openKylin开源操作+九格端侧大模型”上通过在模型层、系统层、应用层的技术突破来构建AIPC引擎的系列实践，并演示运行效果。

个人简介：博士生导师，国防科技大学计算机学院某中心主任，openKylin开源社区秘书长，中国计算机学会系统软件专委会执行委员，中国中文信息学会大模型专委会委员，开放原子基金会首批TOC导师，主要研究方向为操作系统、人工智能，入选军队某人才计划，获中国杰出开源人物、中国开源先锋人物等称号。获国家科技进步一等奖1项、省部级科技进步一等奖2项，在TKDE、SCIS、AAAI、ICPP、ACL等国际顶刊和顶会发表学术论文20余篇，培养博士、硕士30余人。

报告题目：大模型端侧芯片的愿景与挑战

报告摘要：大模型落地应用的边际成本是目前最大的痛点，端侧芯片是解决边际成本最理想的产业体系，通过端侧消费者一次性买断的硬件成本来承担大模型推理成本，避免了每一个应用都需要担负昂贵的云端推理成本，零边际成本才能促成更加繁荣的大模型产业，类似今天的游戏产业和显卡的关系。端侧芯片角度需要考虑如何在消费级市场可接受的成本下让消费者享受到最极致的大模型体验，大模型对显存和算力等各方面需求也发生了巨大的变化，带来芯片设计的全新机会和挑战。

个人简介：季宇，行云集成电路创始人，清华大学计算机系博士，华为天才少年，海思昇腾编译器架构师，在芯片体系结构、编译器等领域有丰富研发经验。在自然正刊发表过一作文章，并在体系结构和系统领域的顶级期刊与会议中发表论文数十篇，拥有多项发明专利。创办行云公司致力于打造软件亲和、高显存规格的大模型推理芯片，旨在用异构、白盒的硬件形态重塑大模型计算系统，推动大模型走向更高质量和更低成本，解决大模型产业的算力成本和供应问题。

关于我们

清华大学自然语言处理与社会人文计算实验室（TsinghuaNLP）成立于 20 世纪七十年代末，是国内开展自然语言处理研究最早、深具影响力的科研单位，也是中国中文信息学会计算语言学专业委员会及中国人工智能学会因果与不确定性人工智能专业委员会的挂靠单位。实验室在学术总体带头人孙茂松教授及学术方向带头人刘洋教授、刘知远副教授的带领下，围绕以中文为核心的自然语言处理，在语言大模型、跨模态大模型、中文信息处理、机器翻译、知识图谱、智慧教育、社会人文和艺术计算等方面开展系统深入的研究，在国内外具有较大的学术影响。近年来，实验室承担了国家 973 项目、国家重点研发项目、国家社会科学基金重大项目等多项重要研究任务，并与腾讯、华为等企业建立密切的学术合作关系。