▼
本文是一位来自菊厂的优秀课代表参加AI+研发数字(AiDD)峰会上海站后，整理的两篇学习笔记，重点记录了#基础模型及Agent#基础设施#LLM应用落地#AI人才培养等内容，方便各位小伙伴快速了解最新AI理论研究和行业应用情况。
1.AiDD 2024概览
(1)会议简介
AI+研发数字峰会(AiDD)专注“AI技术和软件研发融合” ，AiDD 2024在上海举办，旨在""帮助企业借助AI技术，推动研发全面进入数智化时代"。
大会特邀100+业界大咖分享行业洞察及专家见解，通过60+创新案例展示全新研发思路，设置15+个分论坛涵盖了软件研发全流程。
(2)议题分布
AiDD设置了15个分论坛，覆盖AI+研发全流程。
编程Copilot
算法与模型训练
知识工程
AI工具链与工程平台
智能运维
AI算力与优化
AI原生应用开发
智能需求工程
AI驱动产品创新
AI人才培养
数据智能
AI赋能测试
AI智能体
领域大模型
AI对齐
接下来，我们从3个方向总结相关会议议题：
基础模型及Agent
基础设施
LLM应用落地
2.方向1：基础模型及Agent
通过本次会议可以观察到2点趋势：
趋势1：2023年的研究热点还是LLM基础理论，2024年的热点逐步转向到VLM及多模态模型。
趋势2：LLM基础模型的成熟与落地，促成了Agent技术成为2024年的行业热点。
议题1：多模态大语言模型中的上下文学习
报告人：杨旭，南洋理工博士，东南大学副教授。
内容小结：
价值：通过ICL(上下文学习)，提升多模态大模型的字幕生成能力、视觉问答能力(VQA)、解决视觉语言任务。
成果：
探索不同的上下文配置对图像字幕生成任务中的视觉-语言(VL)模型的影响，提出了四种图像选择策略和四种字幕分配策略。
探索在视觉问答(VQA)任务中，如何配置有效的上下文序列以增强大型视觉语言模型(LVLMs)的上下文学习(ICL)性能。为了提高ICL的性能，作者设计了多种检索方法，并采用不同的策略来操作检索到的示例。
通过在视觉问答(VQA)和图像字幕(IC)任务中的实验验证了使用语言模型配置ICD的方法的可行性，并通过全面的消融研究进一步探讨了数据集构建和ICD-LM开发设置对结果的影响。
议题2：基于多模态大语言模型的GUI智能体
报告人：张驰，腾讯研究科学家，入选斯坦福大学发布的《2023全球前2%顶尖科学家榜单》
内容小结：
产品：AppAgent是由腾讯公司开发的一种高级多模态代理框架，主要用于智能手机应用程序的操作和管理。它基于大型语言模型（LLM），能够通过直观的点击、滑动等手势与应用程序进行交互，模仿类似人类的动作。
成果：
多模态交互：AppAgent结合了视觉和文本输入，使得代理能够理解和执行基于视觉信息的任务，这在以往的文本中心的Agent模型中是不可能的。
无需系统后端访问：与传统的智能助手(如Siri)不同，AppAgent通过模拟用户在图形用户界面（GUI）上的操作，如点击和滑动，而不是依赖于系统后端访问，从而实现更高的灵活性和安全性。
自主学习能力：AppAgent通过预定义操作与手机app交互来学习，也可以通过观察人类演示来学习。这些观察被记录成文档，供后续使用
议题3：多场景下智能体应用构建技巧
报告人：卢建晖，微软高级云技术布道师
内容小结：
产品：微软的Semantic Kernel构建智能体是一个轻量级的软件开发工具包，旨在帮助开发者更有效地将大型语言模型集成到他们的应用程序中。
价值：Semantic Kernel的价值在于它为开发者提供了一个高效的方式来利用大型语言模型解决复杂的问题，通过定义插件并自动协调这些插件与AI，开发者可以快速实现特定的功能或解决特定的问题。还允许开发者在应用程序中充分利用与Copilot和Bing相同的人工智能协调模式，从而增强应用程序的功能。
议题4：AIAgent认知框架与案例实践
报告人：黄佳，新加坡科技研究局AI研究员、技术作家。主攻方向LLM的开发和应用、AI for FinTech、AI for MedTech、持续学习等。著有多部AI相关畅销书。
个人感觉黄佳老师的议题比较出彩的一个，他不愧为技术作家，议题讲解也带有很强的技术科普风格，具体内容如下：
AI应用的五个层次：分L1~L5，目前很多AI助手停留在L3，但业界都在向L4，即Agent方向努力。
Agent方法论：黄老师的这个总结非常精彩。
Agent认知框架的四种设计模式：
Agent认知框架选型方法：
Agent研究综述：黄佳老师介绍了Agent研究综述，非常值得学习的一篇综述性论文。
议题5：个性化智能体价值观与社交能力的评估与对齐
报告人：高星，通义星尘算法负责人。
内容小结：
成果：
通过基于专家指导原则的自我对齐，有效提升了人类价值观对齐的效果。
通过多阶段迭代训练、CycleAlign方法、大小模型协同等，提升个性化角色的模型能力，打造类人智能体。
3.方向2：基础设施
议题1：构建AGI时代的推理基础设施
报告人：单一舟，华为云架构与技术创新部架构师
内容小结：
主题：介绍华为云构建满足AGI需求的推理基础设施的解决方案。
成果：
以存代算，降低首字时延
分离式内存弹性伸缩，降低推理集群成本
资源感知调度，提升推理集群利用率
议题2：向量数据库大模型时代的基础设施构建
报告人：刘力，Zilliz首席工程师
内容小结：
主题：介绍了Zilliz Cloud产品，以及其关键特性，如：向量数据库即服务、Saas架构、Logic Clusters、分层存储、冷热数据分离、Zilliz Cloud Pipeline、Cardinal极致性能。
议题3：构建云原生算力基础设施驱动大模型创新实践
报告人：王羽中，杭州谐云科技有限公司技术总监
内容小结：
主题：介绍了支撑大模型的云原生算力基础设施解决方案，阐述了多项关键技术，如：跨算力中心的纳管和调度、异构资源纳管和调度、算力超分和优先级调度、算力资源共享和隔离、算力资源动态共享、多卡共享、精细化计费等。
议题4：AI原生应用开发工具链详解
报告人：罗义云，阿里云资深技术专家、PAI平台工程负责人
内容小结：
主题：介绍阿里云PAI的整体架构，阐述了模型微调工具链的模型微调、模型评测Eval-Scope、实验管理、量化压缩、BladeLLM等特性。
4.方向3：LLM应用落地
议题1：大模型加持如何改变需求工程任务
报告人：金芝，北京大学教授，IEEE/CCF/AAIA Fellow，高可信软件技术教育部重点实验室常务副主任。
内容小结：介绍大模型对需求工程的改变
需求相关的提示模式：《Requirements Engineering using Generative AI：Prompts and Prompting Patterns》阐述了5种提示模式。
人机协作架构设计：《Towards Human-Bot Collaborative Software Architecting with ChatGPT》展示了人类和ChatGPT协同开展架构设计的实践。
AI Agent协同目标建模：《MAPE-K Loop-based Goal Model Generation Using Generative AI》论述了一种由AI Agent扮演需求分析师、领域业务专家的角色，共同开展设计建模的方法。
议题2：智能化研发在百度的落地
报告人：张立理，百度前端架构师，百度前端CMC主席，技术组织委员会 Web方向负责人。
内容小结：
如何构建强力的代码模型：构造高质量代码数据集、多种代码生成模式、降低模型对算力的依赖提升计算速度。
如何有效服务产品用户：多语言多IDE覆盖、提供丰富的编码器能力、基于研发现场知识增强、构建与实践紧密结合的模型训练飞轮。
议题3：阿里云服务器智能异常调度系统及LLMOPS构建与实践
报告人：郭红科，阿里云高级开发工程师
内容小结：
主题：介绍了阿里云服务器的AI for Ops解决方案，分享了query重写/意图识别、AI Agent等关键技术实践的经验。
议题4：AIOps在线评测基准系统
报告人：聂晓辉，必示科技产品部总监、算法研究员，清华大学计算机系博士, 研究领域为智能运维 (AIOps)
内容小结：
介绍了必示科技的AIOps平台，展示了AI在IT运维领域的一些能力，如：异常检测、告警分析、故障处理、成本效率、混沌工程、可观测等。
5.总结
AiDD 2024会议的收获如下：
基础模型的研究热点是多模态大模型、AI Agent，需要进一步跟踪探索。
各大厂商已经在布局基础设施建设，AI算力基础设施是近几年重要的营收点。
在AI for SE方面，各厂商的AI辅助研发逐渐在落地，同时也在启动AIOps的探索。
笔记（二）
在AIGC时代，AI对高等教育及人才培养有怎样的变革？如何培养适应时代发展需求的计算机人才？
1.AIGC时代下的人才需求趋势
(1)时代背景
生成式人工智能(AIGC)的快速发展已悄然推动"第四次工业革命"，AI能力从感知理解世界跃迁到生成创造世界，工业应用的焦点将快速从自动化全面转变为智能化。Gartner预测，到2026年将有超过80%的企业将使用生成式人工智能。
与历次工业革命一样，智能化不仅仅是技术和经济层面的变革，更是一场认知和思维的革命。作为塑造未来、培养创新人才的教育行业，必然要拥抱AIGC引发教育和教学变革。我国教育部也一直在大力推动“工业化教育模式”向“智能化教育模式”转变。
(2)社会对人才需求及人力结构的转变
在AIGC时代，社会对人才的需求和人力结构会发展巨大转变。
人力结构转变：
麦肯锡《生成式人工智能和美国工作的未来》报告提出2030年美国工资最低的岗位将减少110万个，但工资最高的岗位可能增加 380万个。
世界经济论坛发布《未来就业报告2023》显示，未来5年内，人工智能、商业智能分析师、数据科学等大数据相关职位的需求增长最快。
初级专业技术岗位将大幅减少，高级技术和创新型岗位将激增。
人力需求转变：
培养创新性人才：创造性、分析性思维，技术素养、好奇心与学习能力、韧性、灵活性与敏捷性等通识素养是未来最需要培养的技能。
培养跨专业人才：学科壁垒不断消融，数字技术、人工智能等科创技术能力与人文素养、通识教育并重，跨专业人才需求紧俏。
这意味着，AIGC时代人力需求不减反增，但需要的是具有创造力和深度思考能力，并且具备人工智能技术的人。
(3)社会对计算机人才需求及人力结构的转变
计算机学科的人才们创造了AIGC，那AIGC对未来计算机专业人才的需求有哪些转变呢？
人力结构转变：
模型训练&AI应用开发：设计、训练、微调、部署AI模型，在垂直领域开发AI应用，将成为新兴的岗位。
人机交互设计师：为了提高AI应用的可用性和用户体验，专注于人机交互的角色会非常重要。
AI解决方案工程师：新兴岗位。对特定行业、垂直领域设计定制化解决方案。
AI伦理和审计：新兴岗位。处理伦理、合规、隐私、AI决策透明度，开发和监督AI应用的使用准则。
基础业务代码编写与维护：会逐步消失，简单的编码任务、有标准代码模板的任务、修复常见的编程错误、基础业务逻辑代码，都可能被AI取代。
初级测试：将会被AI取代。AI会自动生成常规测试用例，保证基本测试质量。
简单的数据分析：也会逐步消失，AI已经可以对于数据集进行初步分析了。
那些会消失的岗位
那些会新增的岗位
人力需求转变：
与AIGC相关的工作岗位将占到甚至超过总体人力需求的50%。
AIGC将促成大量非计算机专业交叉学科的计算机人才，也使"超级个体"的产生变得更容易。
2.计算机人才培养目标变革
(1)教育理念变革
以布鲁姆学习目标分类体系、斯金纳程序教学模式为代表的传统教育体系，在第一次工业革命建立起来后，其教育理念表现为：
强调结构化和标准化教学
一定程度地限制了创新能力和批判性思维的培养。
而在AIGC时代背景下，亟需在新的教育理念指引下，尽快转变为"融合AI的超级个体"教学模式。教育理念有如下变革：
知识观：智能时代知识更新速度快、知识获取难度低，知识不是教学的核心。
教学观：
教学目标改变：培养综合能力和高阶思维。
教学内容改变：构建软知识的思路和框架。
教学方法改变：发现式教学和分享式教学。
学习观：
学习目标改变：综合能力提升和批判性思维。
学习内容改变：以问题求解为中心。
学习方式改变："人-机"合作式学习。
人才观：智能时代人类主要承担创造性工作，要培养创新型人才和跨领域人才，培养善于与AI共同工作的人才。
(2)培养目标变革
AIGC时代需要具备AI技能且善于思考创新的人才，结合学科知识体系，可分解为如下六项培养目标：
四项能力：
基础和全流程能力：除了编程能力，还强调基础算法和数据结构、机器学习、数据科学的理解与应用。
终身学习和适应能力：学习新知识、掌握新技术、适应新环境的能力。
解决跨学科问题的能力：探索计算机科学、数学、统计学、心理学和应用领域的知识，提升跨学科能力，可从多个角度思考和解决问题。
协作沟通等软技能：能够和团队成员、机器智能，协同合作，有效传达和交流想法。
两个思维：
创造力和创新思维：解决问题、提出创新解决方案、设计新系统的能力。
伦理和社会责任意识：对AI应用的伦理问题理解、对隐私的关注、对AI的社会影响的认识。
(3)人才培养途径变革
为达成以上培养目标，需要拓宽当前计算机人才培养的途径，建议采取如下措施：
将计算机科学转为必修课，而且是基础课。
通过学科交叉学习和实践，让计算机专业和非计算机专业的学生都可以具备解决跨学科问题的能力，匹配未来人才结构需求。
AI辅助编程 + AI辅助专业知识学习，培养兼具AI技能和专业能力的人才。
3.计算机人才培养实施路径
3.1.AI辅助教学
随着2023年生成式AI的发展，以及各大厂商在AI辅助研发领域的投入，AI辅助研发、AI for SE有了飞速发展：
通过AI，代码生成、错误检测、自动重构优化、自动化测试，都成为了可能。
在AI辅助研发取得长足进步的背景下，AI辅助教学也成为了可能：
内容创作：AI自动生成教学案例、总结教学内容、生成教学视频。
个性化教学：根据不同学生特点，推荐个性化教学内容和习题。
编程开发：自动生成代码和测试用例，帮助学生关注高层设计、避免陷入低层次细节。
互动体验：数字导师和AI助教，应用于教学与答疑。
游戏化教学：生成游戏环境、角色和情节，提升教学趣味性。
智能评价：用AI对学生作业和项目进行综合评价，总结优缺点及改进建议。
在这样的背景下，教学模式从循证教学法向AI辅助教学法转变：
循证教学法的本质：传统的教学模式，先教语言语法，再进行大量的代码片段练习。
AI辅助教学法的本质：是利用大模型来处理低层次任务(将语法的细节延后)，让学生更聚焦于高层次的思维与算法。
3.2.实践1：新质教育系统
(1)AI生成数字化学习资源
通过AI，生成MOOC、实战实训、数字教材、图文专栏、导学项目等线上资源。
通过AI，生成课堂教学、PPT课件、印刷教材等线下资源。
(2)AI生成个性化教学案例
通过AI，生成个性化教学案例。
(3)AI生成作业和项目设计
通过AI，以及提示词技术，生成课程作业、项目设计稿。
(4)AI数字教师、数字助教
基于AI数字人，实现数字导师、数字助教。
(5)智能评价
利用AI，从不同维度对学生的输出进行评价。
3.3.实践2：生成式探究教学
(1)生成式探究教学的要素
生成式探究教学倡导：学生主动探索，强调通过创造性生成和构建深入探索和理解知识，鼓励学生自发提出问题、独立思考并创造性地解决问题。
生成式探究教学的要素：
学生主导：学生在学习过程中处于主导地位，学生提出问题、制定计划、选择学习资源、协作探索。
创造性生成：学生被鼓励创造性生成，如：设计产品、编写代码、创作艺术作品等。
深入探索：学生被孤立批判性思维、思考知识的本质、寻找创新解决问题的方法。
反思和分享：学生在实践过程中进行反思，总结经验教训，与他人分享见解和成果。
教练而不是教师：老师的角色是支持者，提供必要的指导、资源、反馈，已促进学生的学习和发展。
(2)生成式探究教学的实施过程
提出教学目标：教学目标从知识向批判思维迁移。
采用开放性教学资源：而不仅仅是教科书。
提出开放性问题：而不是有标准答案的问题。
鼓励探索：鼓励学生主动探索，老师与学生一起探索。
分享成果：让学生分享自己的探索成果。
评价：采用多元性、过程性、差异性评价方式。
教练式辅导：过程中进行必要的指导和讲解。
(3)生成式探究教学案例
项目介绍和目标设定——提出教学目标：
2048小游戏的基本规则和玩法。
项目目标and预期结果。
学生探究——鼓励探索、提出开放性问题：
游戏逻辑和规则如何实现？
游戏界面如何设计？
如何处理用户输入和游戏状态的更新？
如何判断游戏胜利或失败的调价？
指导和讲解——教练式辅导：
讲解基础知识和技能
通过AI，学习各模块的需求。
如何实现游戏的基本功能，如：移动方块、合并方块、更新游戏状态等。
编码实践——鼓励探索：
根据自己的理解和AI交互编写游戏代码
调试和测试——鼓励探索：
根据游戏的功能和逻辑，与AI交互进行调试和测试。
展示和反思——分享成果：
展示2048小游戏，分享学习心得和经验。
思考在开发过程中遇到的挑战和解决方案是什么？
思考游戏的改进和扩展方向是什么？
如何将本案例的编程知识、业务技能，举一反一地应用到其它项目中。
3.4.AI辅助教学的优势与挑战
优势：降低了老师的教学成本、降低了学生的学习成本。
挑战：
传统OJ测评方法失效。
过程性评估。
AI算法的局限性。
评价标准缺失。
4.总结
智能化时代对高等教育提出了新的要求，也为教育的创新和发展提供了广阔的空间。
AIGC时代已经到来，教育者和学习者都需要懂AI、用AI以适应和拥抱变化。
通过智能化技术的赋能，我们可以期待一个更加开放、灵活和高效的教育未来。
END
AiDD峰会下一站即将于2024年8月16-17日于北京举办，主题为“AI驱动研发迈进数智化时代”。围绕十六大论坛和两个大厂专场进行内容分享。现议题公开征集中，欢迎大家扫码报名！
点这里↓↓↓记得关注标星哦~
