一、一个李飞飞,半部AI史
1.1Caltech101
在计算机视觉领域的研究内,与自己的导师彼得罗商量后,那是早在21世纪初期,李飞飞越来越发觉到算法对于数据集的需求性。那些日子里,她甚至有点疯狂,对平常碰到的狗,飞机搅拌机,手风琴一切东西都要想想怎么分类。
Celtech101
在这项浩大的工程开始之前,她估计要做二十个左右分类,导师给她的数字确是100个。而她却做出了101个,这也就是人工智能领域著名的Caltech101(加州理工101类图像数据集),成为有史以来机器学习最大规模的图像集合。
里面有超过9000个图像,都需要人工去分类并且标记,方便算法分类。这项工程在2004年完工。
数据集标注
Caltech101在发布一段时间后受到广泛关注,在发展初期,大家都还是关注一些算法,没有太多人将注意力放在数据集上。
但谁也没想到的是,Caltech101只是个开始。
1.2空前大规模图像数据集Imagenet
之后的一次学术会议上,李飞飞和现代视觉研究成果的主要贡献者之一欧文·比德曼聊起来celtech101,比德曼认为数据集是个巨大的需求。提出来一个巨大的需求量猜想,不是2000个,不是5000个,而是3万个!
李飞飞
作为一个本来在算法方向的李飞飞来说,谁也不知道几个月搜集的Caltech101才是她成为AI教母所迈出的第一步,Imagenet的萌芽就在这时出现了,并且为李飞飞之后在人工智能领域奠定了绝对的话语权,成为成名之作!
在一次计算机视觉讲座后与计算机语言学家克里斯提安·菲尔鲍姆的交流,得知自1985年启动以来,WordNet已经有了非常庞大的规模。后来也极大程度的推动了自然语言处理技术和语言处理的应用和推广。
wordnet
得知WordNet的成熟规模,飞飞更加坚定了要打造Imagenet的决心,是对是错,要赌一把!
在加州理工毕业之后,刚刚成为伊利诺伊大学厄巴纳香槟分校助理教授一年,飞飞就接受了普林斯顿的邀约,以一位老师的身份重回普林斯顿,重回新泽西。
在下定决心准备开始这项浩大工程之前,有学术界无数反对的声音,并且也很难招募合适的研究人员,本科生觉得很无聊,博士生觉得算不上什么重大意义的研究,都是低级重复性劳动。
邓嘉,现为普林斯顿大学助理教授
后来,李飞飞遇到了无数劝阻声中的一位支持者,普林斯顿大学科学系算上她自己仅有两位移民的另一位教授李凯,并且给她介绍了一位研究生邓嘉,邓嘉在后来也成为Imagenet的共一作者。
1.3困难重重
有了团队之后,实验室开始招募本科生发出邮件,找一些本科生根据WordNet从网上下载图片并进行标注,从0开始建立图像数据集,每小时10美元。
标注数据集
经过几天,一经估算照这样下去ImageNet的预计完工时间差不多19年。
而邓嘉不可能等那么久拿到他的博士学位,况且这样下去预算也撑不住,长期实验室都赌在这一个项目上,各个方面考虑都不现实。
超大数据集
像李飞飞在传记里描述的一样:ImageNet就像一只拒绝被驯服的野兽,每当离结果靠的太近,它就会猛烈反击。
这其中,还遇到许许多多的困难,因为搜索引擎下载量太大被限制下载;类别应该分到多细,分类别应该有什么依据;对于标记的数据有没有二次检查,万一标注错误影响后续使用怎么办······
一切问题让这个初出茅庐的研究者搞得焦头烂额,李飞飞在传记中写到,自己甚至一度看到自己的北极星暗淡下来,科研道路陷入黑暗之中。
学术交流
而且还有许多可怕的想法,自己带的学生邓嘉跟着自己赌在这个项目上,还有很多很多,其实这个项目承担的风险远远要比想象的大,但现在回头已经为时已晚。
1.4偶然破局
在一次学术会议上偶然碰到自己的师爷(导师的导师)在问自己的实验室最近在做什么,没想到师爷吉滕德拉也并不赞成这个项目:“科学的诀窍是跟随你的领域一起成长,不要太超前。”
科研挫折
但为时已晚,自己只能忍受这科研的挫折,想想有没有什么办法处理ImageNet,想起邓嘉信任自己就胃里阵阵难受,这么大的后果,自己真的如何承担。
一天赶着去教职工会议的路上,一个叫孙民的研究生拦住了李飞飞,说是邓嘉刚认识的朋友,说自己有个想法可以解决ImageNet的难题。有个叫众包的在线平台可以有效组织远程的临时工作团队。
亚马逊就提供这个服务,叫做“土耳其机器人”。
众包
经过后续几个人商讨,验证,“土耳其机器人”简直就是为ImageNet量身打造,大家眼看着预计完工时间从19年缩短到15年,10年,5年,2年最后不到1年。
实验室每天都有成千上万张新的图片被标注出来,两年多的时间里,财务状况岌岌可危,但总算项目在不断前进。大家都紧憋着一口气。
机器学习专家:吴恩达
在那段时间里,李飞飞不定期拜访湾区斯坦福几个著名学者,其中就包括机器学习的吴恩达,达芙妮科勒等众多知名领域开拓性专家。
为了项目和未来的发展,在2009年,李飞飞不得不放弃离萨贝拉更近的让父母更方便的自己更熟悉的新泽西,带着自己的实验室团队前往更适合自己研究的斯坦福大学实验室。
也是在2009年6月,ImageNet初见雏形,这也离不开斯坦福大学的研究资金资助。
ImageNet
这个数据集共收集标注了1500万张照片,涵盖2.2万个不同的类别。筛选了10亿多张候选图片,来自167个国家的4.8万名全球贡献者进行了标注,并且进行了三重验证。
世界上有史以来最大的人工编辑数据集,诞生了!
二、“功成名就”时,探索北极星
当然光有ImageNet不意味着成功,但架不住它的出现结合了天时地利人和。在ImageNet出现后,一切算法的验证都变得切实可行。
ImageNet
经过和学者交流讨论,ImageNet后续成为了一个大家比拼算法性能的平台,成为该领域一年一度最关注的竞赛。ImageNet走向无人问津已经不可避免。
2012年,一个尘封已久的算法AlexNet(卷积神经网络CNN的一个实例)获得算法的冠军,并且准确率高达97%。而前几年都是发展数十年的支持向量机等现代算法能达到85%都已经是奇迹。
AlexNet
2015年,微软的何恺明带头研发的ResNet(深度残差网络)再次改变比赛格局,登上《纽约时报》头条。识别错误率仅为4.5%。远远低于估算的人类错误率。
在后续的竞赛中,计算机视觉领域的突破不断,一个又一个的细分领域被发掘出来。同一时期,自然语言处理也取得了丰硕成果,递归神经网络(RNN)展现出对文本的处理能力,就像AlexNet对图像一样。
RNN-递归神经网络
人工智能领域越来越被具象化。历史刚被创造出来的时候,世界上只有少数人知道······
将北极星比喻作理想,其真正的价值不仅仅可以指引方向,而其真正的魅力就在于可以看到,但追求不到!
三、写在最后
在后来的故事中,李飞飞因为在计算机视觉领域的突出贡献以及对交叉学科的探索被推荐为HAI(斯坦福以人为本人工智能研究院)院长。
HAI
在对母亲病情的探索中开始研究“环境智能”领域,用技术切切实实的改变生活中的难题。
在学术休假期间,在谷歌云任职人工智能首席科学家一职,在一度曾经鄙夷的工业界,李飞飞第一次听到科研探索前沿的炮火声,亲眼见证他们可以使用的超高算力,众多从学术界挖来的科研团队。
任职谷歌
在今年,李飞飞又再度投身于“具身智能”,也叫做空间智能。
北极星一直在那里,而有个叫李飞飞的科学家,那个北京出生,成都长大,移民美国的女孩一直在往那个方向追!
具身智能
往期经典: