Meta又一次突破自我，发布了最新的CoTracker3！
Meta 的 AI 研究团队最近推出了一项突破性技术——CoTracker3。这项技术为视频点追踪带来了革命性的变化，即使是在对象离开视野或被遮挡时，依然能精准追踪！
CoTracker3凭借其卓越表现，已经超越了现有的所有点追踪方法。
CoTracker3的强大之处
这款新模型在基于合成数据训练时，已经掌握了超强的追踪能力。在与其他主流模型的对比中，特别是在处理遮挡点上，CoTracker3表现优异，即便在未标记的视频上仅进一步精修训练，也能轻松超越同类技术。
BensenHsu(@BensenHsu) 强调了这一点:
“CoTracker3仅使用合成数据便已领先，而在15,000个实际视频上微调后，性能更是远超BootsTAPIR，该模型在1500万个真实视频上训练。”
技术革新与开源精神
Meta 不仅发布了研究论文和代码，还在 Hugging Face 上提供了演示版本，旨在推进这一领域的研究。新模型通过伪标签真实视频，简化了点追踪过程，提高了准确性。
Yufan Zhuang(@yufan_zhuang) 表示:
“喜欢Meta持续开源这些研究。”
该项目的研究人员包括 Nikita Karaev [1]、Iurii Makarov [2]、Jianyuan Wang [3]、Natalia Neverova [4]、Andrea Vedaldi [5] 和 Christian Rupprecht [6]，他们均来自Meta AI和牛津大学的视觉几何组。
More details ➡️
https://cotracker3.github.io/
Demo on @huggingface ➡️
https://huggingface.co/spaces/facebook/cotracker
行业影响
新的CoTracker3模型有望推动视频编辑、3D重建等领域的迅速发展。AI_TechnoKing(@AI_TechnoKing) 用四个字总结：
“这太疯狂。”
而GPT.Biz(@gpt_biz) 认为:
“这一新模型将真正推动点追踪技术的发展。”
挑战与未来
然而，就算技术先进，简化是否会影响精度仍是一个问题。Vincent Valentine(@BitValentine) 存在疑问:
“如此简化是否会削弱精准度？问题依然存在。”
相关链接
[1] Nikita Karaev: https://nikitakaraevv.github.io/
[2] Iurii Makarov: https://www.linkedin.com/in/lvoursl/?originalSubdomain=uk
[3] Jianyuan Wang: https://jytime.github.io/
[4] Natalia Neverova: https://nneverova.github.io/
[5] Andrea Vedaldi: https://www.robots.ox.ac.uk/~vedaldi/
[6] Christian Rupprecht: https://chrirupp.github.io/
[7] https://twitter.com/AIatMeta/status/1846595406261899363
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
