大家好，我是董未名，来自中科院自动化研究所。非常荣幸得到格致论道的邀请，在这里能和大家聊一聊科学与艺术的融合。
众所周知，现在我们已经进入了人工智能时代，AI已经渗透到了生活的方方面面。比如打车的时候，软件帮我们匹配最合适的车辆、规划最合理的路线；网上购物的时候，电商为我们推荐最适合自己的商品……这背后用到的都是人工智能。
那么，当人工智能进入到艺术领域，当它拿起画笔，又会是什么样呢？
![]()
先来看这张图，这是第一张公开展出的、由人工智能创作的绘画作品，叫做《埃德蒙·贝拉米的肖像》。它是由机器学习了从14世纪到20世纪的1.5万张肖像画之后，自动生成的一张绘画作品。右下角本来应该是艺术家签名的位置，现在变成了一条公式，因为这张作品就是由算法、机器用这条公式生成的。所以，它的创作者就把这条公式放在了这张画作的下方。大家觉得这张画怎么样？艺术水平到底高不高？看来还是有人觉得它画得好的，你们很有眼光；但绝大多数人都觉得它画得不好。告诉大家，在2018年，这张画在佳士得拍卖行以43.25万美元成交，非常惊人。你也可以说，物以稀为贵，这是炒作，人工智能在绘画的创作方面也就是这个水平了。
▲Théâtre D’opéra Spatial/Jason Allen
我再给大家看一张图，是今年（2022年）由人工智能创作的一张图片，叫《太空歌剧院》。它的构图、配色以及画面的细节，已经堪称完美。这张作品的创作者Jason Allen不是专业的艺术家，而是来自美国科罗拉多州的游戏设计师。这是他使用AI工具创作的，还在美国的一个数字艺术比赛里，打败了众多由专业艺术家人工创作的作品，获得了一等奖。那他是如何创作的呢？这位游戏设计师在一个叫做“Midjourney”的AI创作工具里，先输入了几个关键词代表，比如光源、构图、氛围等，得到了100幅作品，再进行了约80小时的PS修饰，最终选出3幅作品，把图像打印到画布上拿去参赛。![]()
这张作品不是个例。现在的人工智能已经能自由地创作很多极具艺术感的作品。所以，艺术创作的人工智能时代已经到来。
当然，人工智能在艺术方面的创作不是一朝一夕就完成的，也经过了很多研究者们多年的探索。最早可以追溯到上个世纪末，当时的人工智能绘画技术叫做“图像的风格化滤镜”。最初的方法也比较简单，如果有一张自然拍摄的摄影照片，通过一些图像处理的算法，把它的像素进行几何或者色彩上的变换，然后再调节不同的参数，就可以模拟出类似油画或者水彩画的风格。
![]()
Aaron Hertzmann: Painterly Rendering with Curved Brush Strokes of Multiple Sizes. SIGGRAPH 1998: 453-460
这一组图是在1998年创作的，看起来有一点点绘画的效果，但水平还是比较低的。
![]()
▲MiaoyiWang, Bin Wang, Yun Fei, Kang-Lai Qian, Wenping Wang, Jiating Chen,
Jun-Hai Yong: Towards Photo Watercolorization with Artistic Verisimilitude.
IEEE Trans. Vis. Comput. Graph. 20(10): 1451-1460 (2014)
经过研究者们不断地探索，不断地改进技术，到2014年达到了这样的效果。这是对水彩画的模拟，已经非常得漂亮了。但其实，除了这几张成功的作品之外，更多的是一些失败的作品。因此这种技术的成功率是很低的。而且，它还有一个比较大的缺点，就是只能从表面上模拟，让它看起来是一张油画或是水彩画，但是如果想具体模拟某位著名艺术家的绘画风格来生成绘画作品，这是很难的。所以，研究者们探索了另一条数字绘画生成的道路——“图像的风格迁移”。![]()
什么是图像风格迁移？举个例子，左图是美国旧金山艺术宫的外景照片，在1962年由德裔艺术家梅贝克主持重新修建。中间这张图是印象派创始人莫奈在1901年绘制的作品，叫做《维特依的早晨》。本来这两种艺术风格在时间和空间上都没有交融的机会，但是通过图像风格迁移技术，就能生成一张看起来由莫奈绘制的美国旧金山艺术宫的绘画作品。我自己所在的科研团队也进行了几年的探索，研发出的技术叫做“任意图像风格化”。只要机器经过一次学习，比如学习十几万张真实照片及几万张的真实绘画作品之后，就可以生成一张从内容上与某张照片相近，而从风格上与某幅绘画作品相近的数字绘画作品。![]()
▲Yuxin Zhang, Fan Tang, Weiming Dong, Haibin Huang, Chongyang Ma, Tong-Yee Lee, Changsheng Xu: Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning. SIGGRAPH 2022: 12:1-12:8
通过这样的技术，就可以模拟不同流派、不同风格的艺术技法，来生成各种风格的艺术图片。比如右边两张图分别模拟的是左侧源图像的野兽派风格和奥费主义风格。![]()
这是莫奈的印象派风格，后印象派风格以及日本的浮世绘风格。
![]()
这模拟的是梵高的一幅现实主义作品，中国水墨大师吴冠中老先生的绘画风格以及素描风格。![]()
如果有喜欢二次元的朋友，我们的技术也可以把你的照片变成二次元风格。
![]()
这是一匹水墨风格的马。一般提起画马，大家可能首先想到徐悲鸿先生，因为他马画得非常好，在世界上享有盛名。而图上这匹马是由人工智能绘制出来的，模拟的是齐白石老先生的风格。齐白石最擅长画虾，可能从来没画过马。但是，用人工智能的风格迁移技术，就可以模拟出齐白石风格的马。中国的水墨画在艺术技法上有个很大的特点——留白。很多的水墨作品，只有一个明显的前景物体，背景很空，这就是所谓的留白。虽然图中马背后有一片草地，但是通过我们的技术，模拟了水墨风格之后，生成的这张水墨绘画作品的背景是完全干净的，很好地模拟了中国水墨画的留白技法。
除了模拟具体的绘画作品风格，人工智能技术还可以进行创新。![]()
左侧是一张照片，如果给人工智能一张素描图片，或者水彩图片，用风格迁移技术，就可以生成一幅素描作品或水彩作品。
![]()
但是，如果想要将这两种风格融合呢？也是可以的，这张就是用风格迁移技术生成的图片，拥有了水彩和素描的中间风格。这个作品既有水彩的柔和与朦胧感，也有素描的立体和明显的明暗对比感，是一个全新的艺术风格。我们希望这一技术能够推动新艺术风格的创作和整个绘画艺术的发展。
创作具有艺术风格的视频
已完成：50% //////////
我们可以把任意的图片变成绘画，那能不能把图片做成动态的呢？
![]()
以《挚爱梵高》这部电影为例，它的所有镜头都是梵高的绘画风格，由125位画家，花了7年的时间，手工绘制了6.5万帧油画作品才制作完成。如果我们有一种技术，能够帮助创作这样的电影作品，是不是更好呢？于是我们就研究了视频的图像风格迁移技术。
![]()
左上角是江南水乡的视频，左下角是一张浮世绘风格的绘画作品。将这个真实的视频和这张绘画作品相融合，就得到了一个有着浮世绘风格的江南水乡视频。通过这个技术，可以极大降低在电影制作中，制作不同艺术风格视频的时间和人工成本。
![]()
再看两例。这是著名美剧《权力的游戏》里的一个片段，我们把它做成了素描风格。![]()
这边是电影《阿丽塔：战斗天使》的片段，我们把它做成了油画风格。目前这种技术已经应用到了很多影视剧里。![]()
这是我们与一家公司在某年世界杯比赛期间合作推出的产品。用我们的技术可以把一张人像照片变成卡通头像，当时引起了很大的反响，有很多网友用这个产品生成卡通头像分享在社交媒体上。
![]()
左侧视频是我们和某家公司合作的产品，可以先用照片制作出卡通形象，再生成短视频。右边大家肯定认识，是用王祖蓝的卡通形象制成的短视频。从文本开始创作绘画
已完成：70% //////////
现在，就算我们不给AI机器参考素材，它照样可以创作。
![]()
▲Nisha Huang, Fan Tang, Weiming Dong, Changsheng Xu: Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion.
ACM Multimedia 2022
只需要输入一句话，比如，“我希望要一张仙境般的中国桂林山水画”，人工智能技术就可以直接生成一幅这样的山水画作品。![]()
▲Nisha Huang, Fan Tang, Weiming Dong, Changsheng Xu: Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion.
ACM Multimedia 2022
再看一个例子，我们给机器输入这样一句话：“罗曼·朱安多的油画《云中飞翔的蒸汽朋克屋》”，然后人工智能就可以生成这样一幅作品。![]()
▲大模型+扩散模型
Alexander Quinn Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark Chen: GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models.
ICML 2022: 16784-16804
这些作品不但完美复现了句子的语义，而且具有很强的艺术感。背后利用的技术就是最近大家有所耳闻的“图文预训练大模型”以及“扩散模型”技术。将这两个技术组合，就形成了前面这些作品。
人人都可以成为艺术家
你或许会思考，AI绘画在将来会不会取代人类艺术家？
![]()
再回到这张画，尽管如此精美，但是在它获奖后，在互联网上特别是在艺术家群体间引起了非常大的争议。![]()
这是我前两天在搜索引擎上搜索该作品结果的截屏，前3个结果都是在讲艺术家非常不开心。大家都在讨论，这是不是意味着人类创造力的终结。甚至在国外某个社交网站上，有一个6000多人点赞的帖子，上面说人类的创造力都已经被机器取代，那么未来会发生什么事情，真的是不敢想象。![]()
▲英国地图人像艺术家Ed Fairburn
其实，在研究过程中，我们也曾经和艺术家交流过。因为我们有一项工作就是模拟一位英国地图人像艺术家的绘画风格。![]()
他可以在地图上绘制一张人像，让人像与地图完美融合。![]()
我们就设计了一套算法来模拟他的创作手法。这就是用我们的技术自动生成的一个和他的作品风格非常相似的艺术作品。工作完成后，我们专门给这位艺术家写了邮件，把论文也发给了他，来问一问他的看法。没想到的是，这个艺术家很快就回了封很长邮件。![]()
他的第一句话让我们非常开心：It was a fascinating read。他说看到论文的时候非常激动。他还说，我从来没有想过，机器竟然能够模拟我的艺术作品。对于人工智能到底在艺术方面能不能取代人类这个问题，他说：“我一直相信，现在也仍然相信，人类的创造力总会有一席之地；也相信，人工智能不可能，也不希望它能，占据那个（艺术）领域。也许（人类和机器）可以共享这个领域。”在知乎上也有相关讨论，有一个比较热的问题就是“人工AI绘画是否会让中低端画师失业？”。
![]()
里面有一个500多点赞的回答，第一句话就是：“AI取代不了画师，取代他们的是使用AI的画师”。从我个人的角度来讲，这句话说的非常有道理。从艺术创作者的角度来讲，我们不应该抵制AI，而是应该主动地去拥抱AI。AI到底能为艺术做什么？其实，AI艺术和人类艺术不应该是两个冲突的对立面，而应该是互相融合的状态。这里我也引用刘慈欣小说《三体》里的一句话：“弱小和无知不是生存的障碍，而傲慢才是”。如果作为人类艺术家，只是去高高在上地抵制、漠视AI，将来有一天使用AI的艺术家很有可能会取代这他们。![]()
而且，现在已经有很多艺术家主动地拥抱AI，比如用AI进行角色设计。![]()
还可以进行婚礼现场的鲜花造型设计。左图就是用AI生成的鲜花造型，右图就是把它变成实物的效果。用AI，可以帮助我们创作出更好的艺术作品。对于普通大众还有我个人来讲，AI其实给我们带来了更多体验艺术的机会。![]()
有了AI，人人都可以是艺术家——即使你从来没有学过艺术，没有一点绘画的功底，借助AI工具也可以非常容易地创作出你自己的艺术作品。
最后，用我特别喜欢的瑞士艺术家保罗·克利说的一句话来进行总结：“艺术不是再现可见，而是使不可见成为可见”。AI现在已经完美实现了这一目标，可以通过机器计算来绘制出很多现实中见不到的场景。我相信，AI在艺术领域一定还会持续发展，一定会为我们带来更多更美丽的绘画作品。
文章和演讲仅代表作者观点，不代表格致论道讲坛立场。“格致论道”，原称“SELF格致论道”，致力于非凡思想的跨界传播，旨在以“格物致知”的精神探讨科技、教育、生活、未来的发展，由中国科学院计算机网络信息中心和中国科学院网络安全与信息化办公室主办，中国科普博览(中国科学院科普云平台)提供技术支持。欢迎关注格致论道官网: self.org.cn，微信公众号: SELFtalks，微博: 格致论道。
