合成现实技术与新质数字资产(中国科学技术大学教授、博导,网络空间安全学院副院长 张卫明演讲实录)

文摘   2024-10-28 17:45   安徽  




首届中国广播电视精品创作大会

中国科学技术大学教授、博导,网络空间安全学院副院长 张卫明

2024.10.12《科影融合 AI赋能——AIGC与影视产业发展论坛》演讲实录



编者摘要

中国科大合成现实技术团队是一个专注于生成式人工智能技术产业化的新型技术团队。团队组建于2020年,由国家网络空间安全领域知名专家、中国科学技术大学教授、校友创建,从事AIGC内容生成、大语言模型应用与安全等核心技术研究并保持国际前沿水平。团队创新自研“合成现实”技术,致力于推动构建以“合成现实数字人”为核心的“新质数字资产”产业生态。创始人俞能海教授荣获“国家网络安全先进个人”,核心技术团队持续开拓创新,创立了生成式AI技术发展历程上的一系列里程碑:
·开源全球最具影响力深度伪造工具DeepFaceLab,与OpenAI的GPT2共同入选2020年十大Github流行项目;
·获得首个全球级别的深伪检测挑战赛DFDC全球亚军,30万美元奖金,入选中国2014年来人工智能安全领域8项代表性成果;
·自主研发全球首个“合成现实数字人”钱学森,于北京中关村论坛与中央电视台先后发布。
中国科大合成现实技术团队一直致力于利用最尖端技术创造无以伦比真实感的新质数字资产,不仅赋予IP资产数字世界基因,更为IP资产相关行业带来无尽可能,并带来前所未有的价值和机遇。
中国科学技术大学网络空间安全学院副院长张卫明教授代表中国科大合成现实技术团队,参加10月12日《科影融合 AI赋能——AIGC与影视产业发展论坛》,并带来主题分享 。

以下为演讲内容,根据张卫明教授于2024年10月12日在首创·郎园Station园区举办的“科影融合 AI赋能”——AIGC与影视产业发展论坛上的现场演讲内容整理。经作者本人授权,在公众号首次公开发布。如需转载,可后台联系小编。
































































































































































































































科影融合 AI赋



























尊敬的各位领导、各位嘉宾上午好,非常荣幸代表中国科大合成现实团队,向大家汇报我们的想法。


这份报告关于合成现实和新质数字资产,这是我们团队提出的两个新概念。

























一、合成现实技术



首先介绍合成现实技术。合成现实可以从两个层面来解释。



一是从概念层面,指通过合成复现现实中的人物。二是从技术层面,指将人工智能的“深度合成技术”与传统影视工业的“现实塑造技术”结合在一起构建人物模型。理念是将人的创造能力与AI的生成能力有机结合。目前已有三种应用场景。

第一个是数字复原人物,我们第一个想法是复现老科学家,传播科学家精神。2023年我们完成了数字复原人钱学森,并且在北京中关村论坛发布,得到了很多主流媒体的报道,曾经一度上了抖音热榜第三名。当时许多网友评论称:当钱老的形象和声音出现时,感觉泪目,有一种想哭的感觉。央视新闻在2024年两会期间有一个专题片解读新质生产力,将合成现实技术列入新质生产力的代表性技术进行了介绍。



第二个应用场景是演员的增减年龄。代表性的例子是数字济公。大家在抖音上可以看到,全网点击量超过600万。数字济公作为数据资产,受到游本昌先生的家人高度认可,目前估值超过1000万元。在4月23号世界读书日时,京东与河南卫视利用数字济公制作了一档节目。


第三个应用场景是数字虚构演员。我们给伊利做的数字代言人轻慕,这张脸是完全虚构出来的。



合成现实之所以能够达到这样的高品质,是因为团队多年的技术积累。例如,人脸深度合成在国际上最有影响力的开源工具叫做DeepFaceLab,是我们团队主导的工作,2020年曾经与OPEN AI的GPT2共同入选十大开源项目。合成现实技术是在这些积累之上不断打磨而成的。






































二、新质数字资产及其保护技术




第二部分介绍新质数字资产及其保护技术。


什么叫新质数字资产呢?对照传统数据资产,传统数字资产是将一些有形实物数字化,例如建筑字画等,用于资产的保存和纪念宣传。新质技术资产是利用刚才提到的合成现实技术将角色IP再生化,助其重新创作,包括现实历史人物和文学作品中的人物,以人为核心提高文化传播力。形成资产后,可以运营或者进行资产拆分。随着AIGC的发展,我们逐渐走向一个更加虚拟的世界,在这样一个时代,最稀缺的是真实性。因此真实感越高的IP也就越具有更大的可再生价值。现在的大模型追求的是做一个世界模型,而我们的理念是一人一世界,一人一模型,为每个角色制定专属的角色大模型,这就是我们所说的新质数字资产。



这个概念是新质生产力在细分领域的具体实现。黄奇帆先生解读新质生产力时指出,新质生产力,主要包括能源材料、数字智能、生物医药、高端装备制造5大板块,我们属于数字智能。涉及的创新主要包含理论、技术、工艺、工具和要素创新5个层面,我们所属的是要素创新。新质生产力以劳动者、劳动资料、劳动对象及其优化的跃升作为基本内涵。按照这个解读,基于角色大模型的新质数字资产是:利用合成现实技术(这属于数字智能)创建高逼真数字替身(这属于要素创新),最终将演员与IP资产解耦,形成新的劳动者与劳动对象的优化组合。



这张图展示了新质数字资产从产生到运营的流程图。这里面还包含了数字水印、知识产权确权模块。作为新型数字资产,它面临一系列新的知识产权问题。除了传统的知识产权保护技术之外,我们也需要新技术加持。


第一个问题是,我们制作了一个高品质的角色模型,这个模型产生的内容可能会被对手用来复现我们的模型,所以如何保护这些生成模型不被窃取是一个关键问题。在国际上我们最早提出并研究了这个问题。2020年中国信通院人工智能安全框架中首次出现AI模型知识产权保护问题,这个模块唯一引用的参考文献就是我们团队的工作。




另一个典型例子是语音克隆。我们以前保护声音可能是保护歌曲的音频文件,现在AI可以学习我们的音色唱新歌、播有声书。所以需要保护的是我们的音色,我们在国际上最早提出了保护音色权的水印。这个概念也可以扩展到图片上,即保护图像概念的水印。



美国总统拜登去年签署了第一个AIGC监管的行政令,包含七大模块。第一部分就是要求在AI生成内容中嵌入水印,以帮助用户识别哪些是人类的,哪些是机器的。



我国很快也出台了相关的标准和指南要求在使用大模型时,给生成内容打水印。我们团队也参与了这个标准的制定。这里面有一个关键问题,嵌入水印会不会影响模型的生成质量,尤其是文本生成质量。这对应一个基础理论问题,即:是否可以在内容中完美嵌入信息。实际上这个问题由来已久,称为可证安全信息隐藏,从信息论之父Shannon开始就指出了这个问题的困难。我们团队在2018年提出,对于AI生成内容,理论上可以做到完美嵌入信息。



但当时AIGC并未完全兴起,学术界对此想法存在质疑。2021年后AIGC趋势明显,国际主流学术团队才开始跟进此想法。我们在2023年又取得新突破。2023年底,国际著名学术传播期刊Quanta Magazine(曾经获得美国国家杂志奖)评选了世界计算机领域的7大突破,“在AI生成内容中完美隐藏信息的技术”也入选。



最后给一个小结,我们的目标是影视角色不再与现实演员绑定,而是像米老鼠、唐老鸭一样,可以无风险地运营,并作为可以拆分交易的数字资产。希望通过创新的技术和商业模式开启全新的数字IP资产时代


谢谢大家。

































推 荐 阅 读




勇毅十年 · 行稳致远| 高维数据10周岁快乐!


2024年中国网络安全创新创业大赛总决赛第一名,张卫明教授指导团队荣获多个奖项!

张卫明教授出席第六届“纵横”网络空间安全创新论坛并发表演讲!


喜讯|张卫明教授被授予“长三角人工智能十大杰出人物”奖!

高维数据总工张卫明教授、首席科学家俞能海教授获安徽省自然科学一等奖!




合肥高维数据技术有限公司是一家新型数据安全公司,由中国科学技术大学网络空间安全学院教授、校友创建,主要聚焦信息隐藏相关技术产业化。团队核心技术国际领先,倡导的“行为安全”、数据安全“最后一公里”等新理念得到国内专家、客户广泛认可。

公司高度重视前沿技术与市场需求,发挥“教育技术产业融合发展”优势,分别与中国科学技术大学、合肥市公安局等单位共建有“中国科大-高维数据 数字媒体安全与溯源取证联合实验室”、“合肥市公安局-高维数据 新型数据安全应用联合实验室”。

公司坚持原始技术自主创新,连续多年保持研发费高占比且持续增长,已形成相对完善的知识产权布局及多个国家/行业/地方标准等,先后被评为国家高新技术企业、首批安徽省新型研发机构、工信部网络安全试点示范项目、工信部数据安全典型案例支撑单位等。


本着“储备一代、研发一代、产业一代”的思想,初步完成了核心技术和产业方向布局,形成了新型数据安全系列、数据要素安全治理系列、AI认知安全系列(含“合成现实”数智人)等解决方案与服务,相关产品或方案已经服务电子政务、军工保密、公检法司、健康医疗、智能制造、金融证券等300余个行业客户。

商标声明:摄猎®、图溯®、溯图®、Screenhunter®、Screen Haunter®、CamHunter®、暗水印®、隐水印®、字隐®、印盾®、视安保®、音溯®、智印®、屏摄®、屏迹追踪®、猎屏®、帧视隐®、shield®、红星照相机®、哨兵®、Medigurad AI®、智安医数®、驾驶舱®、高维数盾®、数据海渡®、Hi-SaaS®、原点数据®、脸捕®、声鉴®、音鉴®、AI愚化®、fakehunter®、AIfakehunter®、图忆®、鹰隼检测®、猎鹰®、鹰隼®大隐者®、 音信无痕®、隐信通®、facechange®、绿信®、猎隐®、智隐秘云®、图隐®、faceoff®、图片说®、photochat®、变脸®、隐图®、套图®、图易安全®、图中图®、pichat®、海渡通®等是合肥高维数据技术有限公司注册商标。未经许可,任何单位或个人不得以任何方式或理由对该商标的任何部分进行使用、复制、传播、抄录等,否则本公司将追究其法律责任。

- END 


编辑 | 甘兴盼;校正 | 张玉婉;审核 | 罗丽凤



高维数据
终于等到你,感谢关注我们!
 最新文章