FairMot追踪模型是一个目标追踪框架，旨在通过单次检测同时完成目标检测与行人重识别（Re-ID）任务，以提高追踪的精度和速度。在多个MOT挑战赛数据集上，FairMot均表现出色，证明了其在实际应用中的有效性和优越性。
论文链接：https://arxiv.org/abs/2004.01888
github链接：https://github.com/ifzhang/FairMOT
FairMOT架构简介
FairMOT模型采用DLA-34作为骨干网络，通过深层聚合技术融合多层特征，以增强对不同尺度目标的处理能力。采用anchor-free的检测方法，在特征图上直接预测目标中心点和边界框，同时并行地估计每个像素的Re-ID特征，用于区分不同目标。
这种设计使得模型能够更有效地平衡检测与Re-ID任务，从而在保持高追踪精度的同时，实现视频速率的实时推理。
#backbone
FairMOT架构
选择ResNet-34作为基础网络框架，旨在高效平衡模型的精度与计算速度。为进一步提升特征表达能力，引入了增强版深层聚合（DLA）技术，将其融入ResNet-34中，构建了DLA-34模型。与原始的DLA设计不同，在DLA-34中增加了更多跨层级的跳跃连接，这一策略类似于特征金字塔网络（FPN）的构建思路，有效促进了低级与高级特征之间的深度融合与互补。
此外，为了提升模型对不同尺度与姿态目标的适应性，在所有上采样模块中引入了可变形卷积层，这些卷积层能够根据目标的实际大小和姿态动态调整其感受野，从而更精准地捕捉目标特征，同时也有效缓解了特征对齐问题。
#Detection Branch
在DLA-34骨干网络的顶部集成了3个并行的预测头，每个头分别专注于估计关键信息：
· 热图（heatmap）：用于定位目标中心；
· 对象中心偏移（center offset）：用于精细化中心位置；
· 边界框大小（bounding box size）：以准确描绘目标轮廓。这种设计不仅简化了检测流程，还提高了检测精度。
每个预测头的实现方式简洁而高效：首先，对DLA-34输出的特征图应用一个3×3的卷积层（包含256个通道），以进一步融合和增强特征；随后，通过一个1×1的卷积层，直接生成所需的预测结果。这种“先融合后预测”的策略，确保了每个预测头都能从丰富的多尺度特征中受益，从而提高了整体检测性能。
#Re-ID Branch
重新识别分支的主要目标是生成具有高度区分性的特征，以便能够准确地区分图像中的不同对象。
这些特征应当具备这样的特性：来自不同对象的特征之间的相似度应当尽可能低，而来自同一对象的特征之间的相似度则应当尽可能高。
为了实现这一目标，在主干网络提取的特征基础上，应用了一个包含128个卷积核的卷积层。这一层的作用是对主干特征进行进一步的加工和提炼，以生成每个空间位置上的重新识别特征。经过这一处理，我们得到了一个特征映射E，其维度为128×H×W，其中128表示特征向量的维度，H和W分别表示特征图的高度和宽度。
在特征映射E中，可以方便地提取出以任意位置(x, y)为中心的对象的重新识别特征E_{x,y}。这个特征向量E_{x,y}是一个128维的向量，它包含了足够的信息来区分该位置上的对象与其他对象。
#Re-ID可视化
ReID可视化
为直观展示重新识别特征的区分能力，引入了重新识别相似度图。通过对比分析ResNet-34与集成了重新识别分支的ResNet-34-det所产生的相似度图，可以清晰地认识到，训练专门的重新识别分支对于提升特征的区分能力至关重要。这一对比凸显了重新识别分支在提取更具判别力特征方面所发挥的关键作用。
进一步地，当将DLA-34与ResNet-34进行比较时，可以发现多层特征聚合策略显著增强了重新识别特征的鉴别能力。这一发现不仅验证了多层特征融合在复杂场景下的优势，也强调了其在提高目标识别准确性方面的重要作用。
定性结果
MOT17测试集的追踪结果
在MOT17测试集上，对FairMOT的多项跟踪性能进行了可视化展示：
MOT17-01场景：当两个行人路径交叉时，FairMOT凭借其高质量的重识别特征，成功地在复杂交互中保持了正确的身份分配。相比之下，那些仅依赖边界框信息的追踪器在此类情况下往往容易发生身份混淆。 MOT17-03拥挤场景：FairMOT同样展现出了稳健的跟踪能力，有效应对了高密度人群中的挑战，确保了跟踪的连续性和准确性。 MOT17-08遮挡测试场景：当行人被严重遮挡时，FairMOT不仅维持了正确的身份追踪，还确保了边界框的精确性。
MOT17-06和MOT17-12的结果证明了FairMOT在应对目标尺度大幅变化时的有效性。这主要得益于其采用的多层特征聚合策略，该策略能够提取到更加全面和丰富的特征信息，从而增强了模型对不同尺度目标的适应能力。
结合大模型通用知识及在交通、社会治理、安全生产、自然资源等行业领域的知识，深入业务场景，精确捕获用户意图，为用户提供智能问答、数据分析、报表生成、工作任务理解与执行等一系列服务
📞若您有相关需求，欢迎点击下方链接与我们沟通洽谈
🗨️也可以在公众号后台给我们留言
