当数字孪生开始拥有自己的生命

文摘   2024-06-18 18:06   上海  



当一个人在公开网站中上传足够多自己的照片,AI便能从中提取并学习到他的外貌特征,并生成出全新的图像。


多年前,艺术家霍莉·赫恩登(Holly Herndon)和马特·德赖赫斯特(Mat Dryhurst)意识到了这一点,一旦某样东西变得机器可读,它就成为了AI训练的一部分。赫恩登在音乐和数字艺术界的知名度使其名字不再仅仅是指代一个人,还代表了一种特有的赛博形象,成为了AI背后数据集的一部分,并在其中可以自由转变造型及身份。



Holly Herndon & Mat Dryhurst, Jolene, 2022年,单频影像,3分5秒 ©Holly Herndon & Mat Dryhurst


Holly Herndon,拍摄:Chris McKay


在Dall·E、Midjourney或Stable Diffusion中输入“霍莉·赫恩登”关键词时,生成的图像会带有一些“赫恩登”角色的特征:一位皮肤白皙、橘色头发、厚刘海齐耳短发、明亮蓝眼睛的女性角色。


Holly Herndon and Mat Dryhurst, 图片截选自xhairymutantx, 2024


这对艺术家夫妇认为,公众身份借助AI开始拥有它们自己的生命了。形象可以被克隆,声音是否也可以被克隆呢?


2019年,她与搭档马特·德赖赫斯特合作制作了专辑《Proto》,包含了13首曲目。为了制作这张专辑,他们创造了一个名为“Spawn”的AI算法,组成了一个人类与人工智能共同演唱的合唱团。这个被他们视为“AI婴儿”的算法可以通过聆听不同的声音自主学习如何控制和编辑声音。“Spawn” 的原理基于开源的机器学习模型,使标准的代码转向可实际操控声音的能力。“Spawn 不仅限于重新排序或混合已有内容,而是在创造自己的内容。尽管AI的学习速度非常引人注目,但赫恩登也表示,Spawn”还不够智能,但他们学会了如何在“她”的能力范围内使用和创作。与其说是AI在变得智能,反而是使用的人在这个过程中变得更加有创造力和智能。


Holly Herndon, Eternal, 2019年,单频影像,5分5秒 ©Holly Herndon


专辑《Proto》中的曲目《Eternal》描绘了从机器视角去分析和认识人脸的过程。视频中每一个人的五官从模糊到迷失,真实的人脸和机器学习并生成的人脸相融一体。音乐结合了千禧年的流行元素,合成器和管弦乐队,舞曲强烈的节奏不断停顿又突然进入。


Holly Herndon, Eternal, 2019年,单频影像,5分5秒 ©Holly Herndon


赫恩登直视着机器,同时机器也在学习着她。“就在我眼前”——人类合唱团和人工智能缓慢而统一地唱道。


Holly Herndon, Eternal, 2019年,单频影像,5分5秒 ©Holly Herndon



与“Spawn”的实验让他们捕捉到了声音克隆在音乐创作上超常的意义。2021年7月,赫恩登利用深度伪造(Deepfake)技术创造了自己的声音孪生——Holly+。Holly+是和艺术家马特·德赖赫斯特共同创作的项目,其使用的神经网络能够将任何歌曲处理成赫恩登的声音,使其听起来好像是她本人真的在唱歌。


Holly Herndon,拍摄 Andrés Mañón


Holly+作为公共开放的网页允许所有人用赫恩登的声音演唱歌曲,期望AI可以被用来创造具有真正价值和人类感性的作品,而不仅仅是从计算机产生随机内容。




Holly Herndon, Eternal, 2019年,单频影像,5分5秒 ©Holly Herndon







2022年,赫恩登发布了一首由Holly+生成的歌曲《Jolene》,翻唱自多莉·帕顿(Dolly Parton)的经典民谣,伴随着“她”的歌声是瑞安·诺里斯(Ryan Norris)的吉他演奏。赫恩登还邀请了数字艺术家萨姆·罗尔夫斯(Sam Rolfes)通过动作捕捉技术动画化赫恩登的3D模型创作了视觉影像。



Holly Herndon & Mat Dryhurst, Jolene, 2022年,单频影像,3分5秒 ©Holly Herndon & Mat Dryhurst



演唱发生在一个农舍里,赫恩登的AI孪生推着一把椅子坐在一个废弃的卡车旁,拿着话筒在椅子上摇摆旋转。“她”的衣服颜色在不断地变化着,天空也从白日转向夜晚,画面有着棕黄褪色的故障感。时而光线全暗,仅剩一个聚光灯照在“她”的身上,呢喃着:Jolene, Jolene...


Holly Herndon & Mat Dryhurst, Jolene, 2022年,单频影像,3分5秒 ©Holly Herndon & Mat Dryhurst


在这鬼魅的色调和低吟的歌声即将进入结尾时,“她”突然摘掉了头套和服饰,动作表演背后的艺术家本人萨姆·罗尔夫斯突然出现,仿佛一切不过是虚幻,但虚幻背后又是真实的人类。



Holly Herndon & Mat Dryhurst, Jolene, 2022年,单频影像,3分5秒 ©Holly Herndon & Mat Dryhurst


"Jolene"拍摄现场,图片来自艺术家Sam Rolfes


AI在艺术创作中的应用所引发的伦理风险,使得Holly+作为声音克隆和数字孪生的内在自我探索具有深远意义。赫恩登和德赖赫斯特的项目以乐观的态度呼吁人们认真关注,在享受声音克隆技术带来益处的同时,如何有效保护艺术家。


Holly Herndon,拍摄:Carla Rossi


Holly+代表了赫恩登和德赖赫斯特对音乐、艺术和文学未来的愿景:一个“无限媒介”(infinite media)的世界,在这个世界中,任何人都可以调整、应用或迭代他人的作品、才能和特质。他们将这种生产新媒介的过程称为“生成”,并与常见的借鉴形式如采样、模仿、拼贴和致敬区分开来。


Holly Herndon & Mat Dryhurst,x | o 40,使用OpenAI CLIP,OpenAI DALL-E 2生成,关键词:"一个长得像Holly Herndon的房子"


当DJ采样另一位艺术家的音频片段时,这个片段被复制并放入全新的节奏和语境中,改变原曲的氛围和风格。而神经网络则不同,它们不会复制其训练数据,而是重现其内在逻辑——类似于一种风格、情绪或氛围,使创作媒介变得“无限”。


Holly Herndon,图源:Holly Herndon


在这样一个约翰·列侬去世近60年,还能在2023年“发布”新曲的疯狂时代下,我们或许已经正式进入了“无限媒介”世界的倒计时。


Holly+,图源:Hollyplus




霍莉·赫恩登(Holly Herndon)和马特·德里赫斯(Mat Dryhurst)的合作实践利用人工智能技术和虚拟生态系统来探讨权力的不平等分配。赫恩登录制了结合电子音乐、ASMR和人工神经网络的深思而又异想天开的录音室专辑;德里赫斯特则制作音乐,支持去中心化的互联网。他们的共同项目,Holly+,是一个机器学习工具,可以将音频文件转换成赫恩登的声音。霍莉·赫恩登曾荣获Times评选的2023年人工智能领域100位最具影响力人物;两人曾共同荣获ArtReviews评选的2023年当代艺术界最具影响力人物100位。




撰文、整理

Euphy, Alaric








浮游在海洋与宇宙间的神话生物


对谈 | “AI生成时代,如何保留人的价值”




编织未见:人工智能与视觉叙事|MC2 AI影像先导活动介绍










Meta Eye
Meta Eye是超媒体集团旗下数字艺术内容平台,旨在构建与阿尔法世代⽂化同频的活⼒场域,重新诠释新兴⽂化⽣产的潜⼒。通过独特的视⻆融⼊⼤众⽣活,Meta Eye致⼒于打造⼀个探索未来⼈⽂社会结构和新纪元创作模式的⼊⼝。