Talk预告｜澳门大学田春霖：小参数大作为，揭秘非对称LoRA架构的高效性能
创业
科技
2024-11-19 08:23
北京
本期为TechBeat人工智能社区第640期线上Talk。
北京时间11月20日(周三)20:00，澳门大学博士生田春霖的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “小参数大作为，揭秘非对称LoRA架构的高效性能”，届时他将介绍一种非对称的参数微调架构HydraLoRA，能够有效识别并适应数据中的 “内在组件”—— 即子领域或不同任务。该工作已入选 NeurIPS 2024 Oral。主题：小参数大作为，揭秘非对称LoRA架构的高效性能 长按识别二维码，一键预约TALK！
本文提出了HydraLoRA，一种非对称的参数微调架构，能够有效识别并适应数据中的 “内在组件”—— 即子领域或不同任务。通过自主分配不同的 B 矩阵来捕捉特定任务的特性，共享的 A 矩阵负责全局信息的整合，从而实现了高效的参数利用和性能提升。2.观察与动机 - 揭露LoRA结构的非对称性
3.解决方案 - HydraLoRA架构
4. 实验分析 - 性能和效率双重提升
5. 总结
Talk·预习资料
▼
![]()
论文链接：
https://arxiv.org/abs/2404.19245
项目主页：
https://github.com/Clin0212/HydraLoRA
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！![]()
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！![]()
田春霖，澳门大学物联网国家重点实验室的三年级博士生，导师为栗力和须成忠教授。主要研究方向为 MLSys 和高效大语言模型，在MICRO/NeurIPS/ICML/TPDS等会议与期刊上以第一作者身份发表多篇论文。个人主页:
https://www.techbeat.net/grzytrkj?id=21254
![]()
如果你也想成为讲者
▼
单人Talk | 团队专场 | 录播or直播 | 闭门交流
![]()
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
