AI News 01 | 本周不可错过的AI资讯！

豆包大模型升级，引领智能语音交互新境界

豆包大模型在2024年8月21日的AI创新巡展活动上宣布了一系列的产品升级，这些升级包括了综合能力的显著提升和语音能力的增强 。最新版的豆包大语言模型相较于三个月前的版本，在综合能力上提升了20.3%，其中角色扮演能力提升了38.3%，语言理解能力提升了33.3%。这些提升让对话情境更加连贯，角色更加拟人化，同时增强了信息分类、抽取、总结摘要、阅读理解和问答等能力。

此外，豆包大模型还发布了语音能力方面的升级，其中包括Seed-ASR和Seed-TTS的研究成果，这些已经成功应用于豆包的语音识别模型和语音合成模型中 。基于这些技术，火山引擎发布了对话式AI实时交互解决方案，使用户可以使用语音与AI进行交流，并能在对话中随时打断或插话，而不影响整体的对话质量 。升级后的AI声音更具表现力和感情色彩，让对话更加自然、真实和流畅。

火山引擎还与多点DMALL合作，成立了零售大模型生态联盟，旨在基于豆包大模型打造零售AI解决方案，首批联盟成员包括了多家知名零售企业 。这些升级和合作展示了豆包大模型在AI领域的新进展，以及其在提升用户体验和推动行业发展方面的潜力。

参考链接：https://www.leiphone.com/category/ai/jTqWhoyvtmKKndjA.html2024-08-16-8

"悟空"震撼登场：《黑神话》全景光追革命，

英伟达 DLSS 3技术助力开启游戏新纪元！

《黑神话：悟空》这款游戏以其卓越的视觉效果和技术创新获得了极高的关注，其成功的背后，英伟达的先进技术发挥了重要作用。游戏支持全景光线追踪技术，这项技术也被称为路径追踪，能够提供出色的光照、特效和沉浸感，让玩家体验到前所未有的真实感。此外，游戏还利用了NVIDIA DLSS 3技术，通过AI驱动的神经网络提高帧率并生成清晰、高质量的图像，从而在高分辨率下实现流畅的游戏体验。

在科隆游戏展上，英伟达特别展示了《黑神话：悟空》在最高画质下的表现，并强调了RTX 40系列显卡在提供终极游戏体验方面的重要性。同时，英伟达宣布将有超过20款游戏支持同款画面技术，展现了其在游戏图形技术方面的领导地位。

此外，《黑神话：悟空》还获得了科隆游戏展2023年的最佳视觉特效奖，显示了其在视觉艺术方面的卓越成就。英伟达为这款游戏发布了专属的游戏驱动程序，进一步优化了游戏体验，展现了公司对这款游戏的重视和支持。

参考链接：https://mp.weixin.qq.com/s/mOJisEfSUExEi0rIvHGlPg

华盛顿大学David Baker团队在蛋白质设计领域取得了突破性进展，他们利用人工智能（AI）技术成功设计了一种新型的蛋白质“开关”，这种蛋白质能够根据特定分子信号在不同结构状态之间进行切换，实现精确控制。这项研究被《Nature》杂志誉为“蛋白质设计的惊人突破”，相关论文以“De novo design of allosterically switchable protein assemblies”为题，于2024年8月14日发表在《Nature》上。

研究人员们通过AI设计了多种动态蛋白质排列，这些蛋白质可以在二聚体、环和笼等不同的寡聚体状态之间进行变构切换，响应效应分子。这种远程控制蛋白质结构的能力，为开发自适应生物材料和药物输送系统提供了新的可能性。这项工作的关键创新之一是蛋白质组装体的设计，它们可以根据命令组装和拆卸，为未来可能与自然界的复杂性相媲美的生物技术铺平了道路。

此外，该研究还展示了如何通过结合双态铰链和定制的蛋白质-蛋白质相互作用模块，创建出与之前所见任何组装体几乎没有相似之处的新型蛋白质组装体，从而扩大了合成生物学的应用范围。这项研究不仅在理论上具有重要意义，而且在实际应用中也具有巨大潜力，例如在药物开发、疾病检测和环境监测等领域。

参考链接：

https://www.jiqizhixin.com/articles/2024-08-20

https://www.nature.com/articles/s41586-024-07813-2

星尘智能（Astribot）最新发布的AI机器人助理Astribot S1，以其全能操作能力和仿人设计成为业界关注的焦点。S1不仅能够执行如熨叠衣物、分拣物品、颠锅炒菜、吸尘清洁、竞技叠杯等复杂任务，还具备弹琴、喂猫、煎饼、泡茶等多样化功能，甚至能够模仿咏春拳和进行定点投篮 。S1的设计注重实用性和灵活性，采用了刚柔耦合传动机构，并通过多模态大模型支持，使其在人机交互中展现出高水平的敏捷性和灵活度。

S1的研发是星尘智能在具身智能领域的一次重要突破，该公司由具有深厚机器人研发背景的团队组成，创始人来杰曾任职于腾讯机器人实验室和百度，带领团队致力于推动AI机器人技术的创新和应用 。S1的发布标志着AI机器人技术在家庭生活和商业领域的实际应用迈出了重要一步，预计将在2024年实现商业化，首批产品将交付给科研机构进行测试，以积累技术数据并提升机器人的智能化水平 。

星尘智能的愿景是让数十亿人拥有AI机器人助理，无论是家庭照顾还是工业生产，S1的学习和执行能力将无限接近人类水平，为未来智能生活的实现提供了广阔的可能性。

参考链接：

https://ai.zhiding.cn/2024/0821/3159764.shtml

贾佳亚团队最近推出了一款名为ControlNeXt的全新AI图像和视频生成引导工具，这款工具被视为下一代ControlNet，它在多个方面实现了显著的技术突破和性能提升。ControlNeXt支持即插即用，与多种Stable Diffusion家族的常见模型兼容，包括SD1.5、SDXL、SD3（支持Super Resolution）以及视频生成模型SVD 。它在视频生成领域的表现尤为出色，能够实现对动作细节的精确控制，例如让蜘蛛侠跳起TikTok中的美女舞蹈，手指动作模仿得相当精准 。此外，与ControlNet相比，ControlNeXt的训练参数量大大减少，仅为ControlNet的10%左右，同时在收敛速度上也大幅领先。

ControlNeXt的技术创新包括轻量化的条件控制模块设计、优化的控制注入位置和方式，以及交叉归一化技术的应用，这些都为AI创作领域带来了新的可能性 。通过减少控制分支和引入轻量级卷积模块，ControlNeXt在降低计算开销和内存占用的同时，保持了与原始架构的一致性，实现了即插即用的便利性 。此外，交叉归一化技术的采用解决了传统方法在初始化阶段的不稳定性和缓慢收敛问题，使得ControlNeXt在训练初期就能迅速发挥作用。

ControlNeXt的发布，预示着图像和视频生成领域一次重大进步，将极大地推动创意产业的发展，为设计师、艺术家和视频创作者提供前所未有的创作自由度和效率。

参考链接：

https://www.chinaz.com/ainews/11118.shtml

昆仑万维于2024年8月19日推出了全球首款AI短剧平台SkyReels，这标志着短剧创作进入了智能化、个性化的新时代。SkyReels平台集剧本生成、角色定制、分镜设计、剧情编排、对白/BGM以及影片合成等功能于一体，使用户能够“一键成剧”，轻松制作出高质量的AI视频。这一平台的推出，不仅颠覆了传统的短剧创作模式，而且降低了创作门槛，使得个人创作者能够独立完成从创意到成片的全流程创作。

SkyReels的技术亮点在于其全自动化的剧本生成能力，它通过自研的剧本大模型SkyScript，结合亿级高质量短剧结构化数据集，能够生成具有吸引力的剧情，包含戏剧冲突、爽点及情感表达。此外，SkyReels还具备智能分镜生成功能，其自研分镜大模型StoryboardGen能够根据剧本内容一键生成分镜图片和文字脚本，大幅提升了制作效率。

在图像和视频生成方面，SkyReels使用了昆仑万维自研的3D生成大模型Sky3DGen和业界首个AI 3D引擎与视频大模型深度融合的创新平台WorldEngine，实现了3D与视频的混合创作，提供了从自然景观到未来都市，从静态物体到动态角色的多样化3D元素和场景。

SkyReels的发布，预示着AI短剧用户生成内容（UGC）与专业用户生成内容（PUGC）可能会迎来爆发式增长，为短剧内容生态注入活力，推动短剧内容创作与消费市场的快速增长。昆仑万维的这一创新工具有望在全球范围内推广，成为短剧赛道的有力竞争者，特别是在短剧出海市场，预计将带来巨大的市场机遇和文化平权。

参考链接：https://skyreels.ai/beta

本篇文章由陈研整理

视频生成领域最新开源！360AI团队提出FancyVideo：在消费级显卡上定制你的AI视频！