首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

百度联合多所高校发布Hallo2，可实现长时间高分辨率音频驱动肖像动画

科技 2024-10-21 23:35 广东

近日，复旦大学、百度公司及南京大学的研究人员联合发布了一项名为“Hallo2”的研究成果。

该成果为音频驱动的肖像动画技术带来了显著的进步，特别是在长时间视频合成与高分辨率图像处理方面。

基于先前版本的技术积累，“Hallo2”在长时间视频合成上实现了突破。

研究团队通过在条件运动帧的图像空间中进行增强策略的研究，解决了诸如外观漂移和时间伪影等问题。

特别是引入了带有高斯噪声的补丁丢弃（patch-drop）技术，这项技术增强了长时间视频中的视觉一致性与时间连贯性。

此外，“Hallo2”还实现了4K分辨率的肖像视频生成。

为了达到这一目标，研究人员采用了潜在代码的向量量化以及时间对齐技术，以确保在时间维度上的连贯性。

结合高质量解码器，“Hallo2”成功实现了4K分辨率的视觉合成。

值得关注的是，“Hallo2”引入了可调整的语义文本标签作为肖像表情的条件输入。

这不仅超越了传统的音频线索，提高了可控性，还增加了生成内容的多样性。

据研究者介绍，这是首个能够实现4K分辨率并生成长达一小时音频驱动肖像动画的技术，并且支持文本提示增强。

研究团队进行了广泛的实验评估，包括使用HDTF、CelebV以及新引入的“Wild”数据集等公开可用的数据集。

实验结果显示，“Hallo2”的方法在长时间肖像视频动画领域达到了顶尖水平，能够成功生成丰富且可控的4K分辨率内容，持续时间可达数十分钟。

这项研究展示了生成模型在肖像动画方面的最新进展，尤其是在解决长时间视频合成中的挑战性问题上取得了实质性突破。

它不仅推动了该领域的技术进步，也为未来的研究提供了新的方向与可能性。

直达链接：https://github.com/fudan-generative-vision/hallo2

关注我们：即可加入【AI交流群】，免费领取【AI大礼包】

每日聚焦最新AI，让每个人都能享受到AI带来的乐趣！

最新文章

百度世界2024：发布文心iRAG和无代码工具秒哒

豆包发布国内首款通用图像编辑模型SeedEdit

AMD推出10亿参数开源模型OLMo，性能超越同类产品

字节公布X-Portrait 2，模仿出惟妙惟肖的人物表情

腾讯开源混元MoE和3D大模型，业界首个同时支持文字、图像生成的3D开源大模型

天工AI更新高级搜索功能，可搜索股票、科研信息

Suno推出AI音乐克隆，可复用任意音乐风格

知乎推出专业搜索功能，确保所提供的信息既专业又可靠

AI绘画能力超越FLUX，世界首个能生成长文本图像的模型

小米发布澎湃OS 2，小爱同学升级为超级小爱，体验更加智能

爱诗科技发布PixVerse V3，视频生成技术显著提升，中英文提示词均可理解

智谱推出AutoGLM，AI学会自动操作手机完成日常任务

Claude 3.5大更新，AI学会操作计算机，还能分析数据库

讯飞星火4.0 Turbo发布，多项能力实现领先

Stable Diffusion 3.5发布，消费级硬件开箱即可用

智源开源Emu3多模态大模型，视频理解和生成效果表现优异

百度联合多所高校发布Hallo2，可实现长时间高分辨率音频驱动肖像动画

ChatGPT Windows 桌面程序发布，目前仅特定用户可用

ColorOS 15 发布，以用户为中心的系统级AI升级

联想携手全球AI巨头，推进混合式AI发展

Adobe MAX 2024发布会，Creative Cloud 推出100多项新功能

苹果推出MM1.5大模型，提升AI图像视觉理解能力

Kimi探索版上线，能自主搜索并解决复杂问题

马斯克发布Robotaxi无人驾驶汽车，取消方向盘和踏板

字节扣子全面升级，可一键复制各类型AI模板

AI领域科学家，包揽了诺贝尔物理、化学奖

黑森林实验室发布FLUX 1.1 Pro，目前最先进、最高效的绘画模型

Notion AI发布“一站式”AI助手，可对多平台文件进行分析

猫眼发布“神笔马良”AI，让剧本一键成片

美图MOKI全面开放，三步生成AI创意短片

Llama 3.2发布最强端侧开源模型，手机即可运行

年轻人的第一个对象，东京政府提供AI配对平台

豆包发布AI视频生成模型，提供精准语义理解和高保真画质

基于阿里通义大模型，JetBrains AI编程助手国内发布

可灵1.5版本更新：引入运动笔刷功能，让视频精准运动

无使用次数限制，阿里上线通义万相AI视频平台

豆包推出一套AI音乐生成系统，可多方面控制音乐

元象开源中国最大MoE模型A36B，可无条件免费商用

OpenAI o1发布，理科推理能力超越人类专家博士

国内首家五官科医院，推出AI生成式病历

国家网络安全会发布《人工智能安全治理框架》

苹果发布iPhone 16系列AI手机，Apple Intelligence带来全新交互体验

谷歌AI虚拟试穿，数千件连衣裙任意穿

支付宝推出多个AI助手，理财、生活、健康统统帮你搞定

文心一言APP改名了，升级后覆盖五大生活场景

ComfyUI新版本发布，多项更新优化工作流程

快手发布电商AI换衣神器，想怎么换就怎么换

高性能低功耗，最强SOTA小模型Zamba登场

支持VR实时渲染，实景三维大模型书生3.0开源

Midjourney开放网页端，并宣布进军硬件领域

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉