DenseNet作者刘壮官宣!将入职普林斯顿大学助理教授!

文摘   2024-10-18 23:59   上海  

点击下方卡片,关注计算机视觉Daily

AI/CV重磅干货,第一时间送达    

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号:CVer2233,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

转载自:机器之心

「还离这世界上最棒的地儿不远。」


最新消息,DenseNet 作者之一刘壮将于 2025 年 9 月加盟普林斯顿大学,担任计算机科学系助理教授一职。

刘壮主导了 DenseNet 和 ConvNeXt 的开发,这两款模型如今已成为深度学习和计算机视觉领域最主流的神经网络架构之一。

在正式踏入学术界之前,刘壮还会在 Meta AI Fair 继续担任研究科学家。因为普林斯顿大学离纽约不远的,刘壮在官宣新去向后,还晒了张地图:「我离这世界上最棒的地儿不远。」

田渊栋等各路大佬第一时间齐刷刷地送上了祝福:

在 AI 技术骨干纷纷离职单飞,投入 AI 创业大军的时候,拥抱学术界的选择似乎并不多见。

大三就提出了 DenseNet

2013 年,刘壮以安徽省理科高考第一名的成绩,考进了清华大学计算机科学实验班(姚班)。大三期间,在康奈尔大学访学的刘壮与黄高合作了 DenseNet,这篇论文后来成为了 CVPR 2017 的最佳论文。

在 CVPR 还没「通货膨胀」的时代,突破了传统深度网络的单向直链结构的 DenseNet 在 CV 圈掀起了一阵热潮。

  • 论文链接:https://arxiv.org/pdf/1608.06993

DenseNet 通过将前面所有层与后面的层进行密集连接,实现了特征重用,不仅缓解了随着网络深度增加产生的梯度消失现象,也能让网络以更少的参数和计算量实现更优的性能。

DenseNet网络结构

在学术界,DenseNet 被图灵奖得主 Yann LeCun 与 VGG、GoogleNet、ResNet 并列为当代四种主流深度网络。至今,DenseNet 的论文引用量超过 4.8 万次,成为了教科书上的范本。

2017 年,从清华毕业后,刘壮前往加州大学伯克利分校深造博士学位,拜入 Trevor Darrell 教授门下,和贾扬清成为了同门师兄弟。读博期间,刘壮笔耕不辍,入选顶会的论文源源不断,其中不少还获选 Spotlight。

博士毕业后,刘壮进入 Meta AI Research 工作。在此之前,他曾在康奈尔大学、英特尔实验室、Adobe Research 和 FAIR 担任访问研究员 / 实习生。

在 Meta 实习期间,刘壮和谢赛宁合作,发表了 ConvNeXt,这是一篇「make CNN great again」的代表性工作。

  • 论文链接:https://arxiv.org/pdf/2201.03545

自从 ViT 提出,视觉识别开启了「咆哮的 20 年代」,基于 Transformer 的模型在计算机视觉的各个领域开始全面超越 CNN。然而,这种混合方法的有效性在很大程度上仍归功于 Transformer 的内在优势,而不是卷积固有的归纳偏置。

那么,纯 ConvNet 的极限在哪里?能否设计一个纯 CNN 模型,让它实现和基于 Transformer 的视觉模型同样的效果呢?

刘壮及其研究团队参考了 Swin Transformer,基于标准 ResNet,升级出了 ConvNeXt。无论在图像分类还是检测分割任务上,ConvNeXt 均超过了 Swin Transformer,同时还能保持标准 ConvNet 的简单性和有效性。

入职 Meta 后,刘壮似乎更加高产,对数据集以及(多模态)大型语言模型也产生了研究兴趣。

近期,他和何恺明关于数据集偏差的研究也引发了广泛关注。

  • 论文链接:https://arxiv.org/abs/2403.08632

论文的结论指出:虽然业界为构建更多样化、更全面的数据集付出了诸多努力,但神经网络似乎越来越善于「过拟合」到特定的数据集上,也就是说,AI 更加擅长用一种「模板答案」来套不同的数据集中的题目了。

正如刘壮在主页所说:「我的研究经常挑战现有的观念(例如,架构、数据集、剪枝、训练)」。未来在学术界,刘壮将会在哪些方向上发出新挑战,让我们拭目以待。

参考链接:
https://x.com/liuzhuang1234/status/1847019331122876928
https://liuzhuang13.github.io/

绘图神器下载

后台回复:绘图神器,即可下载绘制神经网络结构的神器!

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


Mamba、多模态和扩散模型交流群成立

扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer2233,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


整理不易,请赞和在看

计算机视觉Daily
一个专注于计算机视觉开源项目的公众号,涵盖CV、传统图像处理、OpenCV、深度学习、机器学习代码实战和相关资料等内容
 最新文章