早鸟票倒计时5天｜第十九届中国中文信息学会暑期学校暨《前沿技术讲习班》（CIPS ATT 43&44）继续推出大模型系列专题！

报告摘要：

随着大模型技术的突破性进展，人工智能的发展从感知智能和认知智能，逐步向能够与真实物理环境进行交互的具身智能阶段发展，并在大模型在多种任务上的强大泛化能力和人形机器人对于人类社会场景的适应能力的基础上，有望通过具身智能的发展，最终实现通用人工智能。本次报告主要从大模型赋能具身智能研究的角度，介绍具身大模型的关键技术及应用、机器人智能控制的主流方法、具身智能领域规划大模型面临的主要问题和最新进展，以及对后续具身智能技术路线进行分析和展望。

讲者简介:

张伟男，长聘教授/博士生导师，哈工大人工智能学院执行院长兼计算学部副主任，国家级青年人才，国家重点研发计划青年科学家项目负责人，中国计算机学会理事、中国中文信息学会社交媒体处理专委会社交机器人专业组组长、大模型专委会委员。研究兴趣包括自然语言处理、大模型、社交机器人和具身智能。

报告摘要：

最近几年，语言模型极速发展，特别是是随着ChatGPT的问世，大语言模型的发展达到了前所未有的高度。依托于Scaling law为指导原则，当前语言模型已经达到百亿千亿甚至万亿的参数，并且其效果在很多无监督的场景已经达到或者超过了人类的水平。这个报告将介绍从语言模型的本质出发，从语言模型的发展历程，大语言模型的优化方案，以及大语言模型的训练方法等对大语言模型的过去，当前，和未来进行系统性的介绍。

讲者简介:

王炳宁，百川智能预训练负责人。博士毕业于中国科学院自动化研究所，主要研究机器阅读理解和问答。历任搜狗、腾讯高级研究员，有着丰富大规模生成式模型经验，发布如ReCO、ComQA、ChiQA、T2Ranking等大规模中文问答数据，主导百川多个版本的预训练模型的迭代和发布。在ACL、SIGIR、AAAI等国际顶级人工智能和自然语言处理会议上以第一作者发表论文11篇，并获得2021年CIKM best paper runner up。博士论文《机器阅读理解关键技术研究》获2019年中国中文信息学会优秀博士论文奖。中国中文信息学会青年工作委员会委员。

报告摘要：

当前主流基础大模型主要在云侧训练部署，存在计算资源消耗过大的局限性，阻碍其在实际应用中的推广与普及，也对基础大模型自身的持续演进带来了挑战。本报告从架构改进、算法改进、软硬件协同优化等多个维度出发，介绍如何构建可高效部署的高质量大模型，实现对各类计算设备的广泛赋能，缓解当前大模型资源消耗过大的实际问题。

讲者简介:

韩旭，清华大学计算机系助理研究员，主要研究方向为自然语言处理、大模型、知识计算。在人工智能及自然语言处理领域会议及期刊发表数十篇，Google Scholar他引8600余次。参与创建大模型开源社区OpenBMB，相关开源项目在全球最大开源社区Github累计获得5万余星标。相关成果曾获得教育部自然科学一等奖(第三完成人)，世界互联网大会领先科技奖（第三完成人）。曾入选中国计算机学会（CCF）优博激励计划、博士后创新人才支持计划、清华大学水木学者计划等人才计划。

报告摘要：

大模型时代，可解释和模型对齐变得至关重要。大模型对人的工作生活影响越来越大，但却更加难以理解和控制。OpenAI对外支持的七大研究方向中，可解释和模型对齐就是其中两个。我们应该怎么让深度学习模型变得更透明、可理解、更容易训练、调试和优化，确保它和人类意图对齐呢？这次报告将围绕这些问题进行探讨，介绍我们近期可解释人工智能（XAI）以及利用强化学习从人类反馈学习（RLHF）的方法，探索越狱等大模型安全问题、推理等性能提升的可能解决方案。

讲者简介:

王希廷，中国人民大学准聘助理教授，曾是MSRA社会计算组首席研究员，本科、博士毕业于清华大学。研究兴趣为可解释、负责任的人工智能，相关科研成果落地全球占有量第二的必应搜索引擎。两篇论文被CCF-A类期刊TVCG评选为封面论文，被邀请担任IJCAI、AAAI领域主席，加入IEEE VIS组委会担任档案主席，Visual Informatics编委，被评为AAAI 2021 杰出高级程序委员。两次受邀在SIGIR可解释推荐研讨会上发表主旨演讲，是CCF和IEEE高级会员。

报告摘要：

基础大模型在意图感知、指令跟随、目标规划等方面展现出强大的泛化能力，为智能体的研究和应用提供了通用模型基座。报告将分享GLM-4模型能力提升研发过程中的探索，我们发现预训练损失可以比模型大小或计算量更好地预测语言模型的涌现能力，进而合理指导模型训练与能力提升。以GLM-4 All Tools智能体模型为列，其可实现自主理解用户意图，自动规划复杂指令，自由调用网页浏览器、代码解释器以及多模态模型等，以完成复杂任务。详见 https://github.com/THUDM。

讲者简介:

东昱晓，清华大学计算机系副教授，曾工作于脸书人工智能和微软总部研究院。研究方向为数据挖掘、图机器学习和基础大模型，相关成果获ECML’23, WWW’22/19, WSDM’15最佳论文奖或提名，应用于十亿级用户社交网络和知识图谱。入选国家青年人才项目和IJCAI Early Career Spotlight，获2017年ACM SIGKDD博士论文奖提名和2022年ACM SIGKDD Rising Star Award。

报告摘要：

近年来，检索增强的范式有效地提升了大语言模型生成内容的准确性和可信性，其核心组成可以分为信息检索模块和大语言模型生成模块。在信息检索模块的视角，检索模型的领域可泛化性和通用性，有助于在大模型应用的各个领域精选出对生成有效的信息；在大语言模型模块的视角，对外部信息使用的鲁棒性和效率，有助于避免检索噪声信息对生成结果的影响；在模块间交互的视角，信息检索模块与大语言模型模块交互配合的机制设计，也是成败的关键；最后，在检索增强生成信息回路的视角，新生成的内容将对信息检索造成潜在影响。

讲者简介:

庞亮，中国科学院计算技术研究所智能算法安全重点实验室副研究员，新加坡国立大学访问学者，研究方向为自然语言生成和信息检索。在国际会议发表过论文30余篇，谷歌引用超过3000。担任国际会议程序委员和期刊审稿人，中文信息学会信息检索专委会常务委员，中文信息学会青工委执委，中国科学院青促会会员。曾获中文信息学会优秀博士学位论文奖，SIGIR、CIKM最佳论文候选。提出的深度文本匹配模型在Kaggle QQP文本匹配比赛中获得全球第四。NeurIPS 2018多智能体挑战赛强化学习全球冠军。多跳开放问答HotpotQA位列全球榜单第一。

报告摘要：

大模型技术在部分领域展示出超过人类平均水平甚至顶尖专家水平的能力，有可能会带来巨大的社会价值和商业价值。快手公司独立自主研发了快意系列的语言大模型，支持语言理解和创作、数理逻辑、代码生成等广泛的任务，经过全面专业的评测结果表明，快意大模型在中文领域达到了行业领先水平。此外，除了优异的通用技术底座能力，快意大模型也具备巨大的业务价值，正在短视频相关的各业务场景中被广泛应用。

讲者简介:

张鸿志，博士，快手快意大模型中心算法专家，致力于激发模型潜力，更好地理解和遵循人类指令，所在团队为快手短视频生产、分发和商业化等业务提供了强有力的基座模型支持。专注于自然语言处理研发工作，在知识问答和大模型等相关领域有丰富的实践经验，在EMNLP、COLING等国际学术会议上发表论文多篇。

报告摘要：

对齐在构建符合人类需求的大语言模型（LLMs）过程中具有决定性的意义。随着大模型技术的飞速发展，在许多方面模型的能力已经逐渐逼近甚至超越人类的能力。在本报告中，我们将系统地回顾大语言模型对齐的基础技术，介绍大语言模型偏好和能力对齐发展的最新前沿，并试图探讨在LLMs能力超越人类后，如何实现有效的、可扩展的自动对齐。具体而言，在大模型对齐基础部分，我们将分析大模型的安全风险与对齐的重要性，探究对齐的数据基础、模型基础，进而展望复杂推理能力对齐的可能性。在大模型自动对齐部分，我们将现有的自动对齐方法根据对齐信号的来源分为四大类，并讨论每一类方法的现状和潜在发展。此外，我们将探讨实现自动对齐的基本机制，并从对齐的在大模型构建过程中的基本作用出发，讨论了使大模型自动对齐技术可行且有效的关键因素。

讲者简介:

林鸿宇，中国科学院软件研究所中文信息处理实验室副研究员。2020年博士毕业于中国科学院软件研究所。主要研究方向为大语言模型、信息抽取及基于知识的自然语言理解，特别关注于大模型的对齐及知识机制。近年来在高水平国际学术期刊和会议发表论文60余篇，主持和参与包括国家自然科学基金青年基金、国家自然科学基金重点项目和中国科学院战略先导A类项目在内的多项国家级、部委级项目，以及CCF-百度松果基金、微信犀牛鸟基金等在内的多项企业合作项目。曾获中国科学院院长奖特别奖、中国中文信息学会优博、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖。

讲者简介:

桂韬，复旦大学副研究员。研究领域为预训练模型、类人对齐和智能体交互。在高水平国际学术期刊和会议上发表了50余篇论文，主持国家自然科学基金、计算机学会、人工智能学会多个人才项目。曾获钱伟长中文信息处理科学技术奖一等奖、NeurIPS2023大模型对齐 Track最佳论文奖，COLING2018最佳论文提名奖、NLPCC2019杰出论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划、世界人工智能大会云帆奖“璀璨明星”称号。

讲者简介:

郁博文，阿里巴巴通义千问对齐负责人。2022年博士毕业于中国科学院信息工程研究所，在ICML、ICLR、ACL等会议发表论文50余篇，被引用2000余次，担任ACL、EMNLP等会议的Area Chair。主导研发了Qwen系列Chat模型，在权威评测LMSYS Chatbot Arena中屡次进入全球前10。

报告摘要：

语言加工的首要目的是理解语义。“大脑如何表征和加工语义信息”一直是脑科学所关心的重要问题。本次报告将围绕“语义表征的脑基础”、“语义在脑中的组织原则”、“语义的整合和预测”、“人脑与语言模型的语义表征对比”等问题，梳理脑科学领域中关于语义的基础和前沿研究发现。从研究技术角度，本次报告将介绍神经心理学、功能磁共振、脑电图、脑磁图等主流的脑科学技术在语义研究中的运用。

讲者简介:

林楠，中国科学院心理研究所青年特聘研究员，博士生导师。主要研究兴趣为语义理解。作为通讯或第一作者在Nature Human Behaviour等著名学术期刊上发表学术论文20余篇，其中关于社会语义表征脑基础的研究入选语言神经科学领域权威教材《Cognitive Neuroscience of Language》（2nd Edition），获独立标题和近千词篇幅的配图详细介绍。获国家自然科学基金面上项目等多项资助。任中国心理学会眼动心理研究专业委员会委员，中国语文现代化学会神经语言学研究分会理事。任Nature旗下学术期刊Scientific Data编委，并为eLife、Cognition、《心理学报》等许多国内外著名学术期刊审稿。

报告摘要：

随着人工智能技术的飞速发展，从ChatGPT到GPT-4V再到Sora，文本模态逐渐过渡到视觉模态。模态的逐渐增加是通用人工智能发展的必经之路。为了保证研究的前沿优势，就要致力于突破未被探索、存在技术瓶颈的模态，构建全面的模态感知能力。当前多模态大模型作为一种新型的人工智能技术，成为环境理解的核心任务和重要环节，在各个领域展现了潜力。然而，一方面，大部分研究将感知范围局限在文本、视觉、音频等领域，没有更全面的感知能力；另一方面，在交通、机器人等安全关键领域，多模态大模型作为通用人工智能的核心任务和重要环节，需要解决日益严重的不可解释、不可控、不可追溯问题，打造从基础数据治理、算法工具、智能平台到解决方案的大模型赋能安全关键领域的行业生态。本报告将介绍多模态大模型的技术架构和应用案例，并重点探讨多模态大模型在轨道交通领域的应用前景。

讲者简介:

韩文娟，北京交通大学副教授，中国科学院大学博士，加州大学洛杉矶分校访问学者，新加坡国立大学研究员。EMNLP 2022研讨会（UM-IoS Workshop）Chair，ACM SIGAI CHINA 新星奖，铁科院专家顾问。在国内外公认的本学科权威学术刊物上发表40余篇。当前的研究重点在于赋予机器基于语言能力的多模态认知智能：以自然语言的信息表达机制和跨模态计算建模为切入点和突破口，将高阶常识和认知以语言符号等形式与低维感知结合，以此增强智能体对人、物体、场景的多模态统一语义表征和抽象推理，构建认知智能增强的交互式智能体。

报告摘要：

轻量化技术的目标在于保持大模型性能的前提下降低计算和存储需求，从而使其能够在资源受限环境中高效运行。本报告介绍了低秩分解、知识蒸馏、量化与自适应计算等业界主流轻量化算法，这些方法通过减少模型规模和优化现有计算方式来实现轻量化，从而减少资源消耗。最后，本报告探讨了量子机器学习技术在模型轻量化方面的潜力。

讲者简介:

张鹏，天津大学教授、博士生导师、计算机学院副院长，YOCSEF天津2023-2024学术委员会主席，入选国家级青年人才计划、微软亚洲研究院铸星计划，十余年来致力于量子人工智能和量子语言建模的研究工作，并积极推动大语言模型的轻量化。

报告摘要：

随着大语言模型规模的不断增长，其计算和存储需求也随之大幅提升，这给应用部署带来了巨大的挑战。稀疏轻量化技术由于在提升计算效率和压缩模型规模方面的优势，受到了广泛关注。本报告通过讨论各种输入稀疏化及参数稀疏化方法的理论或尺度规律，介绍了不同算法在模型效果与计算性能之间取得平衡的策略。

讲者简介:

张静，天津大学智能与计算学部2022级博士研究生，专业为计算机科学与技术，导师为张鹏教授，在TOIS\IPM\NeurIPS\IAAAI\COLING等国际期刊（会议）上发表了数篇论文。研究方向为模型轻量化与LLM Agent，近期主要致力于端侧大语言模型压缩技术。

报告摘要：

以大语言模型为代表的生成式人工智能技术在多个行业中具有极强的应用潜力。本报告快速回顾了人工智能技术的发展历程，阐释了大模型的工作原理及其在表示能力和知识学习方面的优势，并重点讨论了大模型在司法领域的应用前景。示例包括通过构建司法基座模型和通专组合的司法模型来增强法律文书的自动生成和案件的智能分析；大模型在类案检索和语义检索方面的应用；基于教育学能力层次分级的司法大模型能力评价和测试框架等等。本报告全面展示了人工智能基础模型在司法领域的应用现状，为未来技术发展和应用趋势提供参考和启示。

讲者简介:

艾清遥，清华大学计算机科学与技术系助理教授，博士生导师。主要研究方向为信息检索与机器学习，包括信息表示学习、排序优化理论、大语言模型等在互联网搜推和智慧司法上的应用。曾担任SIGIR-AP 2023的大会联合主席，NTCIR-18的程序联合主席，NACCL、EMNLP、COLING的领域主席，以及SIGIR、CIKM、TOIS等国际顶级信息检索会议和期刊的高级程序委员与编辑，发表论文80余篇。入选国家级青年人才计划，获北京市科技进步一等奖、Google全球研究学者奖、CICS搜索与挖掘成就奖、SIGIR-AP’23最佳论文荣誉提名等。

报告摘要：

预训练大语言模型表现出惊人的上下文学习能力（In-context Learning，ICL）。给定少数几个示例，模型在没有参数更新的情况下实现在新任务上表现出极好的学习性能，然而关于ICL的内在学习机理仍不清楚。将ICL的推理过程解释为一种对比学习模式下的隐式梯度更新过程，从对比学习的视角给出了ICL一种全新解释。此外，从对比学习的角度提出了几种改进原有ICL方法的思路。

讲者简介:

刘勇，中国人民大学副教授，博士。长期从事机器学习基础理论研究，共发表论文80余篇，其中以第一作者/通讯作者发表顶级期刊和会议论文近50篇，涵盖机器学习领域顶级期刊JMLR、IEEE TPAMI、Artificial Intelligence和顶级会议ICML、NeurIPS等。获中国人民大学“杰出学者”、中国科学院“青年创新促进会”成员、中国科学院信息工程研究所“引进优青”等称号。主持国家自然科学面上/基金青年、北京市面上项目、中科院基础前沿科学研究计划、腾讯犀牛鸟基金、CCF-华为胡杨林基金等项目。