超强3D人体姿态估计SOTA! 即插即用于各种基于Transformer 3D姿势估计器

文摘   2024-10-24 08:03   荷兰  

基于Transformer的3D人体姿态估计方法的一个主要弱点是自注意力机制中的Q、K、V向量通常是基于简单的线性映射得到的。这种方法无法充分利用人体解剖结构和运动轨迹的信息,从而限制了模型性能的进一步提升。香港理工大学创新提出KTPFormer,引入KPA和TPA两种先验注意机制,少量增加计算量即显著增强效果。此外,KPA和TPA可以轻松集成到各种基于Transformer的3D姿势估计器中,具有很好的通用性和灵活性。

为了让大家更好的掌握3D人体姿态估计,研梦非凡于10月29日晚(周二),邀请了来自中科院、计算机视觉领域资深专家杨导师,为大家独家详解《KTPFormer: 3D人体姿态估计SOTA! 》,从3D人体姿态估计到算法研究、重点讲解KTPFormer的创新点以及实验,一文速通3D人体姿态估计,get论文idea!

👇🏻扫描二维码找助教0元预约直播课!

凡预约即可免费200篇3d姿态估计最新论文

直播课内容预览

CVPR'24《KTPFormer: Kinematics and Trajectory Prior Knowledge-Enhanced Transformer for 3D Human Pose Estimation》

一、论文摘要

  1. KPA&TPA
  2. 在三个公开数据集上进行实验
  3. 轻量级的即插即用模块

二、研究背景

  1. 3D人体姿态估计的介绍
  2. 研究动机

三、相关工作

  1. 基于Transformer的方法
  2. 图神经网络

👇🏻扫描二维码找助教0元预约直播课!

凡预约即可免费200篇3d姿态估计最新论文

四、算法研究

  1. 运动学与轨迹概述
  2. 方法
  • 运动学增强Transformer(KPA)
  • 轨迹增强Transformer(TPA)
  • 堆叠的时空编码器
  • 即插即用的方式去噪音

五、实验结果

  1. 基于Human3.6M数据集的最新方法进行比较
  2. 在MPI-INF-3DHP数据集上的实验
  3. 在HumanEva数据集上的性能比较
  4. 消融实验
  5. 定性分析

六、总结和展望

  1. KTPFormer
  2. 强大的性能且易于复现

导师介绍

杨导师

杨导师,博士毕业于QStop50知名计算机名校。

博士期间研究方向:聚焦为计算机视觉,自然语言处理,高效的深度学习训练和推理方法,大语言模型轻量化与高效微调技术。

曾在多家公司担任算法研究员,并进行计算机视觉,高效模型压缩算法,多模态大语言模型的研究,包括模型量化,剪枝,蒸馏,编译以及高效稀疏化训练与推理。

在国际顶级会议CVPR,ICCV,EMNLP等发表13篇论文,并担任CVPR,ICCV,ECCV,ICML,ICLR,NeurIPS等重要会议和期刊的审稿人。

多项发明专利,指导学生有耐心,教学严谨,思维逻辑缜密,已经指导数十篇论文。

 对于成果好的学生,帮助学生写推荐信和指导申请硕/博申请 。 

研梦非凡科研论文指导

科研论文idea,并非拍脑门就能产生,需要经过一遍遍做实验、跑代码、改模型、思路修正。研梦非凡专业论文指导,和研梦导师一起找idea,共同解决科研问题。授之以渔——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里!

<<< 左右滑动见更多 >>>

研梦非凡部分导师介绍

研梦非凡导师团队,来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后,以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等

这是一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。包括但不限于以下导师~

<<< 左右滑动见更多 >>>

扫码预约研梦非凡1v1导师meeting

我们不是小作坊哦~我们背靠研途考研(就是张雪峰老师和徐涛老师在的那个研途考研),做教育十余年,重交付,重口碑,是我们一贯的公司理念!


本号提供信息分享,对内容保持中立。若发现侵权问题,请及时联系我们,感谢您的理解与支持。

遥感与深度学习
聚焦遥感与深度学习,分享相关技术、论文、书籍、资讯,团队来自国内外著名期刊作者及审稿人
 最新文章