点击蓝字 关注我们
SUBSCRIBE to US
Samsung/IEEE
你觉得很难找到完美的拍摄角度吗？PhotoBot可以为您拍照。告诉它你希望照片是什么样子，你的机器人摄影师会给你提供模仿的参考。选择你最喜欢的，PhotoBot——一个带相机的机器人手臂——将调整其位置，以匹配参考和你的照片。很有可能，你会比自己的摄影作品更喜欢它。
PhotoBot的创建者之一Oliver Limoyo说：“这是一个非常有趣的项目。”他喜欢在几个领域的交叉点工作；人机交互、大型语言模型和经典计算机视觉都是创建机器人所必需的。
Limoyo在三星工作时与他的经理Jimmy Li一起开发了PhotoBot。
他们当时正在开展一个让机器人拍照的项目，但一直在努力寻找一种好的美学衡量标准。后来，他们看到了Getty Image Challenge，在新冠疫情封锁期间，人们在家中重现著名艺术作品。这个挑战让Limoyo和Li产生了让机器人选择参考图像来启发拍摄照片的想法（https://www.getty.edu/news/getty-artworks-recreated-with-household-items-by-creative-geniuses-the-world-over/）。
为了让PhotoBot正常工作，Limoyo和Li必须解决两件事：如何以最佳方式找到想要的那种照片的参考图像，以及如何调整相机以匹配该参考图像。
推荐参考照片
要使用PhotoBot，首先你必须向它提供你想要的照片的文字描述。（例如，你可以输入“一张我看起来很开心的照片”。）然后PhotoBot会扫描你周围的环境，识别出它能看到的人和物体（https://spectrum.ieee.org/tag/computer-vision）。接下来，它会从一个带有标签的图像数据库中找到一组包含相同物体的相似照片。
接下来，一个大型语言模型（LLM）将你的描述以及环境中的物体与那组数量较少的带标签图像进行比较，提供最接近的匹配项作为参考图像。可以对大型语言模型进行编程，使其返回任意数量的参考照片。
例如，当被要求拍摄“一张我看起来脾气暴躁的照片”时，它可能会识别出环境中的一个人、眼镜、运动衫和一个杯子。然后，PhotoBot会提供一张疲惫不堪的男子把马克杯举在脸前的参考图像以及其他选择。
在用户选择他们想要模仿的参考照片后，PhotoBot会移动其机器人手臂以正确定位相机来拍摄类似的照片。
调整相机以适配参考图像
为了将相机移动到最佳位置，PhotoBot首先识别出两张图像中相同的特征，例如某人的下巴或者肩膀顶部。然后它解决一个“n点透视”（PnP）问题，这涉及获取相机的二维视图并将其与空间中的三维位置相匹配（https://spectrum.ieee.org/2d-video-to-3d-faces-key-challenge-in-virtual-reality）。一旦PhotoBot确定了自己在空间中的位置，它就会解决如何移动机器人手臂来使其视角转变为与参考图像相似的问题。在接近正确姿态的过程中，它会重复这个过程几次，进行渐进式调整。
Samsung/IEEE
然后PhotoBot就会为你拍照。
为了测试PhotoBot拍摄的照片是否比业余人士拍摄的照片更吸引人，Limoyo的团队让8个人使用机器人手臂和相机给自己拍照，然后再使用PhotoBot拍摄一张有机器人辅助的照片。然后，他们让20个新人对这两张照片进行评估，在满足用户要求（如开心、兴奋、惊讶）的情况下询问哪张照片在美学上更令人愉悦。总体而言，在360张照片中，有242次（占比67%）人们更青睐PhotoBot拍摄的照片。
PhotoBot于10月16日在IEEE/RSJ International Conference on Intelligent Robots and Systems上亮相（https://events.infovaya.com/presentation?id=142741）。
虽然该项目已不再开发，但Li认为应该有人基于其底层程序开发一个应用程序，让朋友们能给彼此拍出更好的照片。“想象一下，就在你的手机上，你能看到一张参考照片。同时你也能看到手机当前正在拍摄的画面，然后你就可以四处移动来进行校准。”
微信号｜IEEE电气电子工程师学会
新浪微博｜IEEE中国
· IEEE电气电子工程师学会 ·
往
期
推
荐
