MuVi旨在解决视频到音乐生成(V2M)中的语义对齐和节奏同步问题。MuVi通过专门设计的视觉适配器分析视频内容,以提取上下文
和时间相关的特征,这些特征用于生成与视频的情感、主题及其节奏和节拍相匹配的音乐。MuVi在音频质量和时间同步方面表现优于现有基线方法,并展示了其在风格和流派控制方面的潜力。
相关链接
论文阅读：http://arxiv.org/abs/2410.12957v1
项目主页：https://muvi-v2m.github.io
论文阅读
MuVi:具有语义对齐和节奏同步的视频音乐生成
摘要
生成与视频视觉内容相一致的音乐一直是一项具有挑战性的任务，因为它需要对视觉语义的深入理解，并涉及生成旋律、节奏和动态与视觉叙事相协调的音乐。本文提出了 MuVi，这是一种新颖的框架，可以有效解决这些挑战，从而增强视听内容的凝聚力和沉浸式体验。
MuVi 通过专门设计的视觉适配器分析视频内容，以提取上下文和时间相关的特征。这些功能用于生成音乐，不仅与视频的情绪和主题相匹配，而且还与视频的节奏和节奏相匹配。我们还引入了一种对比音乐视觉预训练方案，以确保基于音乐短语的周期性的同步。此外，我们证明了基于流程匹配的音乐生成器具有上下文学习能力，使我们能够控制生成的音乐的风格和流派。实验结果表明，MuVi 在音频质量和时间同步方面都表现出了优越的性能。
方法
MuVi的pipeline。主模型和输入/输出在中间说明，其中视觉编码器在训练阶段被冻结。可视压缩策略列在左侧，其中“CLS”表示某些可视编码器（如CLIP）的CLS令牌。扩散变压器的结构如图所示。
实验
Softmax聚合的注意力分布可视化。斑块越黄，表示它与生成的音乐关系越密切。我们用平均注意力分数掩盖视频帧。我们在应用Softmax后将权重对应的patch变换成蒙版，然后相应调整蒙版的颜色。权值越小（接近0.0），掩模越蓝；相反（接近1.0），它看起来更黄。这反映了适配器的注意力分布。
不同视觉编码器和适配器的结果。粗体数字代表该列的最佳结果，下划线数字代表第二好的结果。“Softmax”和“Sigmoid”表示Softmax和Sigmoid聚合策略，“Attention”表示注意力池策略，“Average”和“CLS”表示使用CLS令牌进行平均池化和池化
结论
本文介绍了一种新的V2M方法MuVi，它可以生成具有语义对齐和节奏同步的音乐原声带。该方法利用了一个简单的非自回归的基于ode的音乐生成器，结合了一个有效的视觉适配器，压缩视觉信息并确保长度对齐。提出了一种创新的对比音乐-视觉预训练方案，通过解决节拍的周期性来强调时间同步。实验结果表明，该方法在V2M任务中取得了满意的效果，并对不同设计的有效性进行了研究。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
