【NeurIPS2024】通过超球面能量最小化 CKA 增强贝叶斯深度学习中的多样性

学术   2024-11-23 17:01   北京  
来源:专知

本文约1000字,建议阅读5分钟

在多样化集成和超网络的实验中,我们的方法在合成和实际异常检测任务中显著优于基线方法,尤其在不确定性量化方面。


基于粒子的贝叶斯深度学习通常需要相似性度量来比较两个网络。然而,简单的相似性度量缺乏置换不变性,不适合用于网络比较。提出了基于特征核的中心核对齐(CKA)用于比较深度网络,但在贝叶斯深度学习中尚未作为优化目标使用。在本文中,我们探索了在贝叶斯深度学习中使用 CKA 来生成多样化的集成和输出网络后验的超网络。我们注意到 CKA 将核投影到单位超球面上,而直接优化 CKA 目标在两个网络非常相似时会导致梯度衰减。为了解决这一缺陷并提高训练稳定性,我们提出在 CKA 核的基础上采用超球面能量(HE)的方法。此外,通过利用基于 CKA 的特征核,我们推导出施加于合成生成的异常值示例的特征排斥项。在多样化集成和超网络的实验中,我们的方法在合成和实际异常检测任务中显著优于基线方法,尤其在不确定性量化方面。



关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


数据派THU
清华大数据研究中心官方平台,发布团队科研、教学等最新动态及大数据领域的相关信息~
 最新文章