DINO-X：一种用于开放世界目标检测与理解的统一视觉模型
DINO-X 是一种由 Meta（前身为 Facebook）研发的通用视觉大模型，旨在实现开放世界目标检测与理解。该模型的设计目标是通过统一的视觉架构，能够处理多种视觉任务，如物体检测、分割、识别等，从而提升计算机视觉的智能化水平。
DINO-X的核心功能在于其强大的目标检测能力。通过大规模的训练数据和先进的深度学习技术，该模型能够识别和理解图像中的各种物体，包括但不限于人、动物、车辆、建筑等。与传统的视觉模型不同，DINO-X 不仅能识别已知类别的物体，还具备开放世界的能力，能够在未见过的情况下进行识别和分类。这使得 DINO-X 在处理复杂场景和动态环境时表现尤为出色。
![]()
此外，DINO-X 还可以实现图像分割、场景理解等功能，帮助计算机更好地理解图像内容。这种通用性使得 DINO-X 在自动驾驶、机器人、智能监控等多个领域具有广泛的应用前景。通过 DINO-X，研究人员和开发者可以更容易地构建和部署智能视觉系统，推动计算机视觉技术的进一步发展。 ![]()
-
为确保核心开放词汇对象检测能力，研究者开发了一个高质量且语义丰富的锚定数据集，由从网络上收集的超过1亿张图像组成，称为Grounding-100M。他们使用T-Rex 2的训练数据以及一些额外的工业场景数据，用于基于视觉提示的锚定预训练。研究者使用开源分割模型为Grounding-100M数据集的一部分生成伪掩码标注，作为掩码头的主要训练数据。他们从Grounding-100M数据集中采样了一个高质量数据子集，并利用它们的框标注作为无提示检测训练数据。为克服训练多个视觉任务的挑战，研究者采用了两阶段策略。在第一阶段，他们进行了基于文本提示的检测、基于视觉提示的检测和对象分割的联合训练，且没有使用COCO[32]、LVIS[14]和V3Det[57]数据集中的任何图像或标注。如此大规模的锚定预训练确保了DINO-X具有出色的开放词汇锚定性能，并产生了基础的对象级表示。在第二阶段，他们冻结了DINO-X主干，并添加了两个人体关键点头(用于人和手)和一个语言头，每个头分别训练。通过添加更多的头，极大地扩展了DINO-X执行更细粒度的感知和理解任务的能力。随后，他们利用了提示调整技术，训练了一个通用对象提示，允许进行无提示的任意对象检测，同时保留模型的其他能力。 ![]()
DINO-X的大规模视觉理解能力，使其能够在众多应用场景中发挥作用。与传统模型相比，DINO-X能够识别那些在数据集中较为稀缺的“长尾物体”，大大增强了模型的适应性。这一特点使其在自动驾驶、智能安防和工业检测等领域具备着更强的市场价值。例如，在自动驾驶领域，DINO-X能够应对复杂的路面环境，自主检测行人、车辆及其它交通设施，从而提升安全性和效率。![]()
构建这样一个强大的视觉系统，需要在算力、算法和数据三方面的协调进步。沈向洋提到“算力、算法、数据”这三要素是推动AI技术前进的核心。在大会上，他详细说明了模型训练的“黄氏定律”，强调了算力需求将以每年四倍的速度增长。这意味着在未来十年内，算力的需求将可能增长至百万倍，在这样的背景下，如何保持数据的质量和多样性，将成为AI发展的关键挑战。 ![]()
在行业应用方面，DINO-X已经在多个垂直领域中展开了探索。IDEA发布了在化学领域的专家大模型，该模型在分子性质和化学反应预测上达到了业界领先水平，并与晶泰科技联合推出的AI驱动专利数据挖掘平台PatSight，将数据处理时间从数周缩短至仅一小时。这项进展将极大促进制药研究的效率，预示着AI技术在传统行业中的深入应用。 ![]()
![]()
总结来看，随着技术的不断成熟和应用场景的扩展，未来我们有理由相信，DINO-X将在更多领域释放巨大的潜力，推动人类社会迈向更加智能化的未来。
自动驾驶领域：在自动驾驶车辆中，DINO-X的无提示物体检测能力使得车辆实时识别和理解道路环境，包括行人、车辆、交通标志等，从而提高安全性和反应能力。 ![]()
智能安防的智能化升级：DINO-X在监控系统中，其人体和手部关键点的检测能力，为安防系统提供了更为精准的人体行为分析工具，检测和识别可疑行为、入侵者或其他安全威胁，提高监控的智能化水平。![]()
工业检测：在制造业中，DINO-X的检测及分割结果的能力，为工业检测提供了更为精细的图像分析。用于质量控制，检测产品缺陷，确保生产线的高效和产品质量。机器人视觉的突破：DINO-X集成到服务机器人和工业机器人中，帮助机器人更好地理解周围环境，提高其交互和操作能力。辅助视障人士：DINO-X集成到助盲设备中，利用无提示物体检测功能，帮助视障人士更好地理解和导航周围环境。![]()
[1]百度.Facebook Meta官方发布：ECCV 关于 DINO-X的介绍模型（识别万物）[2]DINO-X.一种用于开放世界目标检测与理解的统一视觉模型
图文｜徐翔越 冯禹华 任惠泽 王袁铃 陈佑凡 王诗雅
编辑｜卞子俊
责编｜王晓明
审核｜奚钰靖 王乙如 贾桓 张为东 祁雪峰
