1、人工智能概述
谈起人工智能,我们可以从达特茅斯会议说起。一九五六年的夏天,麦卡锡,明斯基,洛切斯特、香农等科学家在美国达特贸斯学院开会,研讨如何用机器模拟人的智能。首次提出了AI人工智能的概念,这个会议标志着人工智能学科的诞生。1956年也就成为了人工智能元年,那么究竟什么是人工智能呢?人工智能就是研究开发用于模拟,延伸和扩展人的智能的技术科学。从实用主义角度来说,人工智能实际上就是把现实中的问题抽象成一个数学的模型,通过抽象出来输入和输出来支撑实际应用。简单来说呢,就是通过人造模拟的智能来解决问题。
给大家举个例子,如果大家经常看抖音视频,有人喜欢看新闻,有人喜欢歌曲。抖音视频里面就有视频内容推荐模型,通过对大家经常看的视频行为和个人信息进行分析计算相似度,进而给每一位用户推荐最符合你兴趣爱好的视频内容。
2、人工智能技术发展阶段
从20世纪50年代以来,人工智能的发展大致分为三次浪潮,
第一次浪潮是一九五六年到一九七六年最著名的事件就是达特茅斯会议上宣告人工智能学科的诞生。
第二次浪潮是一九七六年到二零零六年这个时间段最大的事件,就是hilton等人提出深度学习,通过研究神经网络,分析大型和复杂数据集,为后来的语音,图像和自然语言处理有关的智能应用领域奠定了基础。
第三次浪潮是二零零六年至今,随着大数据,云计算,物联网等信息技术逐渐成熟,推动以深度神经网络为代表的人工智能技术飞速发展。大幅跨越了科学与应用之间的技术鸿沟,迎来爆发式增长的新高潮。比如二零一七年谷歌公司发布transformer奠定后续所有大模型路线的基础。二零一八年至二零二三年open AI陆续发布chat gpt 1到四全球大热,人人可触及AI,人人可基于AI创新应用领域越来越广泛。
3、人工智能技术架构
关于人工智能的技术架构呢通常分为四层,自下而上分别是基础设施层,算法层,能力层,应用层。为了帮助大家理解我这里与苹果手机类比一下,基础设施层可以理解为iPhone手机,算法层可以理解为iOS操作系统,能力层可以理解为APP store。应用层可以理解为里面的每一个APP应用。下面我将详细介绍一下四层架构的具体特点。
1)基础设施层主要包括基础硬件和开源框架。基础硬件很好理解它,提供了人工智能所必须的计算资源,存储资源,网络资源。当前最流行的处理器是gpu及图形处理器,比如英伟达的a100v100t4等等,主要用于大模型训练和推理。
算法框架主要是可以帮助技术人员以更便捷,更高效的方式完成算法设计。当前常见的算法框架包括谷歌的tensorflow,facebook的pytorch,百度的飞桨等。
TensorFlow 是由 Google Brain 团队开发的开源机器学习框架,于 2015 年正式开源。它是一个端到端的机器学习平台,用于构建和训练深度学习模型
Facebook的人工智能算法框架主要是 PyTorch,这是由Facebook的人工智能研究实验室(FAIR)开发的开源深度学习框架。PyTorch是一个基于Python和C++编写的机器学习库,提供了动态计算图和强大的GPU加速能力,非常适合用于研究和生产环境。它被广泛应用于深度学习任务,如图像识别、自然语言处理等。此外,Facebook还开发了其他辅助框架,如 Caffe2 和 DLRM(深度学习推荐模型)
2)第二层是算法层,通过一系列的算法可以化腐朽为神奇,将数据升华成智慧,为人工智能产业提供了核心动力。目前比较常见的算法包括机器学习,深度学习,强化学习等等。
3)第三层是AI能力层,包括自然语言处理,机器视觉处理等,通过能力层可以支持上层应用,调用和工程实现。
4)第四层是应用层。从具体的智能应用角度看,包括智能客服,无人驾驶,智慧网络,机器人等,在网络运维工作中也有大量的人工智能应用,包括智能规划,智能验收,智能诊断,雅姿源,智能识别等。
4、人工智能四要素:场景、算力、算法与数据
根据人工智能工程化实战经验,四要素主要包括场景,算法,数据和算力。场景是落地关键,算法是核心,数据是原料,算力是基础。下面我们逐个介绍一下四要素。
一是场景。有句俗话说的好鞋子舒不舒服只有脚知道,我们只有选择适合智能化的应用场景,才能带来价值和效益。比如图像识别相关的智能验收,自然语言处理相关的客服质检等,都是适用性非常强的智能场景。是算法选型和数据收集的关键抓手。
二是算法。算法的选择需要考虑问题的复杂度,模型的复杂度和样本规模。从实践层面看,算法的选择需要考虑它的广泛性,成熟度等。比如简单学习算法在稳定性工程,复杂性方面会比较占优。复杂学习算法,在性能表现上会比较占优。因此算法选择是一个综合权衡的过程。
三是数据。数据是智能化需求的直接映射,是智能化项目的原料,它直接决定了项目的成败。因此,需要对样本数据进行全面的分析和定义。比如要考虑样本数据获取的难易度,样本数据量是否足够正负,样本数据是否过于不平衡,样本数据标注是否可行等。
第四点是算力。随着深度学习大模型的逐步应用,要充分考虑gpu算力是否具备和充足,尤其是在模型训练阶段。
5、人工智能算法体系:括机器学习和深度学习
人工智能的算法体系当中主要包括机器学习和深度学习。所谓机器学习核心是使用算法解析数据,从中学习,然后对新数据做出决定或者预测。也就是说,计算机利用已经获取的数据得出一个模型,然后利用模型进行预测,这个过程跟人的学习有些类似,比如人在具备一定经验后就可以对新问题进行预测判断。举个例子,我们都在生活当中见过各种狗的种类,而全世界犬类品种多达500多种,假设我没见过贵宾犬,但是我第一眼看到它就判断它是一种宠物犬。这就是一种学习加预测的能力。
深度学习是机器学习的一个分支。自二零零六年被正式提出后,促使人工智能产业有了革命性的突破,深度学习是一种多层神经网络技术,与机器学习算法的区别是不需要特征工程,自动提取特征,只要向神经网络注入数据,就可以任意提取特征,深度学习常见的算法,包括dnn CNN rnn lstm基于不同结构类型的数据源,可以采用不同的算法。例如,图像处理可以使用CNN卷积神经网络算法,时序文本数据可以使用rnn和lstm网络算法。
6、常见的机器学习算法:决策树与随机森林
1)决策树
决策树是一种常见的机器学习算法,它是一种树形结构,属于有监督学习算法思想,是模拟人的决策过程。每次选择一个属性进行判断。直到能够肯定的给出答案,以图为例,只要给出一定的属性条件判断,就能最终确定一个选择结果。比如从五个人当中,按照年龄小于15岁且为男性就能决策出符合条件的答案,也就是画红圆圈的小男孩儿。
2)随机森林
随机森林是另一种常见的机器学习算法,它是由很多相互不关联的决策树组成的,将数据随机分为几组,分别构建决策树通过模型输出得票,最高的模型结果。
为了便于理解,我这里引用一句中国的老话,三个臭皮匠赛过诸葛亮,所以随机森林是属于集成学习,通过集成多个弱分类器,以达到三个臭皮匠赛过诸葛亮的效果。
7、常见深度学习算法:神经网络与强化学习
1)神经网络
神经网络是深度学习的一种常见算法,基本原理是通过对数据的输入和输出进行大量的学习,然后对于新的输入数据,通过模拟神经网络的方式来预测或者识别输出结果。神经网络算法中最重要的组成部分便是神经元,其模型就类似于树突和轴突组成的神经细胞。在神经网络算法中。每一个节点被认为是一个神经元,每一个节点都有连接其他节点的输入和输出。神经网络会通过比较预测结果与实际结果的差异来学习优化特征,提取能力和预测能力。
2)强化学习
强化学习也是一种深度学习技术,它通过模拟游戏或环境,让计算机在与人类的交互中获得奖励,并通过学习来提高计算机的决策能力。例如阿法狗下围棋的案例,阿法狗首先模仿人类玩家,从过去16万局人类的游戏中学习围棋策略,然后使用强化学习来训练。阿尔法狗让策略做自我博弈拿胜负结果来训练,最终取得最大概率获胜的下棋策略。