收录顶会!elaTCSF:用于闪烁检测和建模可变刷新率闪烁的时间对比敏感度函数

科技   2024-12-16 13:06   上海  

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号:CVer2233,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

很高兴向大家介绍我(蔡彦成)的第一作者研究工作elaTCSF: A Temporal Contrast Sensitivity Function for Flicker Detection and Modeling Variable Refresh Rate Flicker,该研究在【剑桥大学Prof. Rafal Mantiuk】和【LG电子北美】团队指导下完成。文章已经被顶级会议SIGGRAPH Asia 2024接收,收获了Strong Accept. 欢迎大家关注和交流!我将会在东京时间12月3号下午4:30-5:30于Color and Display会场进行口头演讲。

项目链接:
https://www.cl.cam.ac.uk/research/rainbow/projects/elaTCSF/
代码链接:
github.com/gfxdisp/elaTCSF
文章链接:
https://caiyancheng.github.io/papers/elaTCSF_siggraph_asia_2024.pdf
摘要

elaTCSF 是一种先进的时间对比敏感度函数,综合考虑了视觉偏心度(eccentricity)、亮度(luminance)和面积(area)等因素。它作为一个全面的闪烁检测模型,对现有工业闪烁检测标准 TCSF_IDMS (Information Display Measurements Standard) 进行了扩展与更新(标准链接:SID ICDM)。此外,该研究引入了一个全新的可变刷新率(VRR) 闪烁检测数据集,验证了elaTCSF在建模 VRR 闪烁可见性方面的有效性。

本研究同时解决了闪烁检测研究领域的两个关键问题:

  • 视觉周边区域是否对闪烁更敏感?(一个历时 120 年的争论)

  • 如何有效建模极大视场范围内的闪烁可见性?

VRR闪烁敏感度数据集

我们设计并执行了VRR闪烁检测心里物理实验,共16名观察者参与。实验分为两部分:MOA + Quest (每个条件40 trails)。实验结果如下图所示:

我们的可变刷新率VRR闪烁敏感度数据集。每个数据点表示所有参与者的平均敏感性,误差条显示通过心理物理函数拟合得到的上下界。

elaTCSF模型流程图

首先针对前三个参数(时间频率、亮度、偏心率)构建各自的敏感性函数,并通过它们的乘积生成初步的elTCSF。最后,应用空间概率整合模型(解决大面积刺激问题)构建完整的elaTCSF。

elaTCSF模型流程图。公式请详见文章。

elaTCSF与其他模型的比较

表格对比了我们提出的elaTCSF与其他先进的CSF模型。我们评估了八个闪烁检测数据集,这些数据集包括基于临界闪烁频率(CFF)和敏感性测量的数据。第一行的TCSF_IDMS代表当前闪烁检测的工业标准,但其仅考虑时间频率,忽略其他参数,导致性能较差。相比之下,我们的elaTCSF在所有指标上均优于现有的CSF模型。

elaTCSF与其他模型的比较。采用了两个指标:敏感性-RMSE(Sensitivity-RMSE),用于衡量预测敏感性与实际敏感性之间的RMSE误差;以及CFF-RMSE,用于评估预测CFF与实际CFF之间的RMSE误差。

工业应用

I. 可变刷新率显示器中闪烁不可见帧率范围预测

elaTCSF 通过计算不同亮度水平下的无闪烁刷新率范围,为VRR显示器提供了一种可靠的替代方案,避免了手动调整刷新率范围的繁琐过程。在模拟的27英寸、刷新率为24–144 Hz的显示器中,elaTCSF 通过将VRR引起的对比度曲线与各亮度水平的闪烁检测阈值相交,确定无闪烁范围的下限,从而实现了有效的闪烁缓解。

可变刷新率显示器中闪烁不可见帧率范围预测。左图:显示了刷新率从144 Hz切换到指定值时的VRR闪烁对比度(实线),虚线为elaTCSF预测的闪烁检测阈值。右图:浅绿色区域为无闪烁的刷新率范围,其下限由左图中对比度曲线与阈值的交点确定。较高亮度下,因VRR闪烁对比度降低,闪烁更不易察觉。

II. VR头戴式显示器中低持续性闪烁不可见的刷新率范围预测

VR头显显示的固定内容会随着头部快速运动而移动,因此容易产生保持型模糊。这种模糊可以通过低持续显示显著减少,但会引入高对比度闪烁的问题。基于elaTCSF模型,我们预测了Apple Vision Pro、Microsoft HoloLens 2和Meta Quest 3三款设备的最低刷新率,确保低持续闪烁不可见。

VR头戴式显示器中低持续性闪烁不可见的刷新率范围预测。如果显示器的刷新率高于 CFF 线,则低持久性闪烁不太可能可见。这些图显示了如果我们想在不引入闪烁的情况下增加显示器峰值亮度,刷新率需要增加多少。

III. 扩展现代照明系统闪烁敏感性预测标准

elaTCSF 提升了对现代照明系统闪烁敏感度的预测,弥补了现有IEC标准中基于过时TCSF测量的局限性。与以往模型不同,elaTCSF 考虑了亮度和观察条件,从而能够对照明闪烁指数进行感知精确的更新。

扩展现代照明系统闪烁敏感性预测标准。对比IEC光闪烁计和Bodingto

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

ECCV 2024 论文和代码下载

在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


Mamba、多模态和扩散模型交流群成立

扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer2233,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集上万人!


扫码加入星球学习

▲点击上方卡片,关注CVer公众号

整理不易,请赞和在看

CVer
一个专注于计算机视觉方向的公众号。分享计算机视觉、深度学习、人工智能、自动驾驶和高校等高质量内容。
 最新文章