吴恩达机器学习

文摘   科学   2023-07-18 10:39   加拿大  

机器学习专业(Machine Learning Specialization)是 DeepLearning.AI 和 Stanford Online 合作创建的基础在线课程。 该课程适合初学者学习。它将向你传授机器学习的基础知识,以及如何使用这些技术构建真实世界的人工智能应用。
本专业课程由吴恩达(Andrew Ng)讲授,他是人工智能领域的远见卓识者,曾在斯坦福大学领导重要研究,并在谷歌大脑、百度、和Landing.AI开展开创性工作,推动人工智能领域的发展。
这3门专业课程是吴恩达的开创性机器学习课程的更新版,自2012年推出以来,该课程获得了4.9分的高分(满分5分),超过480万名学员参加了学习。
该课程广泛介绍了现代机器学习,包括监督学习(多元线性回归、逻辑回归、神经网络和决策树)、无监督学习(聚类、降维、推荐系统),以及硅谷在人工智能和机器学习创新方面的一些最佳实践(评估和调整模型、采用以数据为中心的方法提高性能等)。
在本专业课程结束时,你将掌握关键概念,并获得实用诀窍,能够快速、有力地将机器学习应用到具有挑战性的实际问题中。
如果你希望进入人工智能领域或在机器学习领域开创一番事业,新机器学习专业将是你的最佳起点。
完成本专业课程后,你将具备以下能力:
  • 使用流行的机器学习库NumPy和scikit-learn在Python中构建机器学习模型。
  • 为预测和二元分类任务构建和训练有监督的机器学习模型,包括线性回归和逻辑回归。
  • 使用TensorFlow构建和训练神经网络,以执行多类分类。
  • 应用机器学习开发的最佳实践,使您的模型能够通用于现实世界中的数据和任务。
  • 构建和使用决策树和树集合方法,包括随机森林和提升树。
  • 使用无监督学习技术进行无监督学习:包括聚类和异常检测。
  • 使用协同过滤方法和基于内容的深度学习方法构建推荐系统。
  • 建立深度强化学习模型。


教学大纲 Syllabus
Supervised Machine Learning: Regression and Classification
如果你想进入最前沿的人工智能领域,本课程将助你一臂之力。深度学习工程师非常抢手,掌握深度学习将为您带来无数新的职业机会。深度学习也是一种新的 "超级能力",可以让你构建几年前无法实现的人工智能系统。
在机器学习专业的第一门课程中,你将使用流行的机器学习库NumPy和scikit-learn在Python中构建机器学习模型。为预测和二元分类任务构建和训练有监督的机器学习模型,包括线性回归和逻辑回归。
第一周
  • 学习监督学习和非监督学习以及回归和分类任务之间的区别。
  • 建立线性回归模型。
  • 实现并理解代价函数的目的。
  • 理解梯度下降如何用于训练机器学习模型。

第二周
  • 建立并训练一个将多个特征作为输入的回归模型(多元线性回归)。
  • 实现并理解多元线性回归的代价函数和梯度下降。
  • 通过选择学习率、绘制学习曲线、执行特征工程和应用多项式回归,实现并理解改进机器学习模型的方法。

第三周
  • 实施并理解用于分类的逻辑回归模型。
  • 了解为什么逻辑回归比线性回归模型更适合分类任务。
  • 实现并理解逻辑回归的代价函数和梯度下降。
  • 了解 "过拟合 "问题,并使用正则化提高模型性能。
  • 使用正则化改进回归和分类模型。

在这个对初学者友好的课程中,您将发现机器学习的世界并发展基本的Python技能,重点是监督模型,包括线性回归、逻辑回归和解决过度拟合的技术。获得实用的工具和知识,为现实世界的挑战设计强大的人工智能应用。

机器学习教程 中文笔记目录
第一周
一、 引言(Introduction)
1.1 欢迎
1.2 机器学习是什么?
1.3 监督学习
1.4 无监督学习

二、单变量线性回归(Linear Regression with One Variable)
2.1 模型表示
2.2 代价函数
2.3 代价函数的直观理解I
2.4 代价函数的直观理解II
2.5 梯度下降
2.6 梯度下降的直观理解
2.7 梯度下降的线性回归
2.8 接下来的内容

三、线性代数回顾(Linear Algebra Review)
3.1 矩阵和向量
3.2 加法和标量乘法
3.3 矩阵向量乘法
3.4 矩阵乘法
3.5 矩阵乘法的性质
3.6 逆、转置
第二周
四、多变量线性回归(Linear Regression with Multiple Variables)
4.1 多维特征
4.2 多变量梯度下降
4.3 梯度下降法实践1-特征缩放
4.4 梯度下降法实践2-学习率
4.5 特征和多项式回归
4.6 正规方程
4.7 正规方程及不可逆性(选修)

五、Octave教程(Octave Tutorial)
5.1 基本操作
5.2 移动数据
5.3 计算数据
5.4 绘图数据
5.5 控制语句:for,while,if语句
5.6 向量化 88
5.7 工作和提交的编程练习

第三周
六、逻辑回归(Logistic Regression)
6.1 分类问题
6.2 假说表示
6.3 判定边界
6.4 代价函数
6.5 简化的成本函数和梯度下降
6.6 高级优化
6.7 多类别分类:一对多

七、正则化(Regularization)
7.1 过拟合的问题
7.2 代价函数
7.3 正则化线性回归
7.4 正则化的逻辑回归模型

第四周
第八、神经网络:表述(Neural Networks: Representation)
8.1 非线性假设
8.2 神经元和大脑
8.3 模型表示1
8.4 模型表示2
8.5 样本和直观理解1
8.6 样本和直观理解II
8.7 多类分类

第五周
九、神经网络的学习(Neural Networks: Learning)
9.1 代价函数
9.2 反向传播算法
9.3 反向传播算法的直观理解
9.4 实现注意:展开参数
9.5 梯度检验
9.6 随机初始化
9.7 综合起来
9.8 自主驾驶

第六周
十、应用机器学习的建议(Advice for Applying Machine Learning)
10.1 决定下一步做什么
10.2 评估一个假设
10.3 模型选择和交叉验证集
10.4 诊断偏差和方差
10.5 正则化和偏差/方差
10.6 学习曲线
10.7 决定下一步做什么

十一、机器学习系统的设计(Machine Learning System Design)
11.1 首先要做什么
11.2 误差分析
11.3 类偏斜的误差度量
11.4 查准率和查全率之间的权衡
11.5 机器学习的数据

第七周
十二、支持向量机(Support Vector Machines)
12.1 优化目标
12.2 大边界的直观理解
12.3 数学背后的大边界分类(选修)
12.4 核函数1
12.5 核函数2
12.6 使用支持向量机

第八周
十三、聚类(Clustering)
13.1 无监督学习:简介
13.2 K-均值算法
13.3 优化目标
13.4 随机初始化
13.5 选择聚类数

十四、降维(Dimensionality Reduction)
14.1 动机一:数据压缩
14.2 动机二:数据可视化
14.3 主成分分析问题
14.4 主成分分析算法
14.5 选择主成分的数量
14.6 重建的压缩表示
14.7 主成分分析法的应用建议

第九周
十五、异常检测(Anomaly Detection)
15.1 问题的动机
15.2 高斯分布
15.3 算法
15.4 开发和评价一个异常检测系统
15.5 异常检测与监督学习对比
15.6 选择特征
15.7 多元高斯分布(选修)
15.8 使用多元高斯分布进行异常检测(选修)

十六、推荐系统(Recommender Systems)
16.1 问题形式化
16.2 基于内容的推荐系统
16.3 协同过滤
16.4 协同过滤算法
16.5 向量化:低秩矩阵分解
16.6 推行工作上的细节:均值归一化

第十周
十七、大规模机器学习(Large Scale Machine Learning)
17.1 大型数据集的学习
17.2 随机梯度下降法
17.3 小批量梯度下降
17.4 随机梯度下降收敛
17.5 在线学习
17.6 映射化简和数据并行

十八、应用实例:图片文字识别(Application Example: Photo OCR)
18.1 问题描述和流程图
18.2 滑动窗口
18.3 获取大量数据和人工数据
18.4 上限分析:哪部分管道的接下去做

十九、总结(Conclusion)
19.1 总结和致谢


吴恩达(Andrew Ng,1976 —),英裔美国计算机科学家和技术企业家,专注于机器学习和人工智能。吴恩达主要从事机器学习、深度学习、机器感知、计算机视觉和自然语言处理等领域的研究,是世界上最著名、最有影响力的计算机科学家之一。
Andrew Ng 于1976年出生于英国。他的父母 Ronald P. Ng 和 Tisa Ho 都是来自香港的移民。他至少有一个兄弟。他在香港和新加坡长大。
1997年,他在宾夕法尼亚州匹兹堡的卡内基梅隆大学获得了计算机科学、统计学、和经济学三重专业的本科学位,并以全班第一名的成绩毕业
1996年至1998年间,他还在 AT&T贝尔实验室 从事强化学习、模型选择、和特征选择方面的研究。
1998年,Ng 获得麻省理工学院(MIT)硕士学位。在麻省理工学院,他建立了第一个公开可用的、自动索引的网络研究论文搜索引擎。它是 CiteSeerX/ResearchIndex 的前身,但专门从事机器学习。
在研究生期间,吴恩达与 David M. Blei 和 Michael I. Jordan 共同撰写了一篇颇具影响力的论文,为他关于无人机强化学习的论文引入了潜狄利克特分配(LDA)
2002年,他从加州大学伯克利分校获得哲学博士学位,导师是 Michael I. Jordan。他的论文题目是 "强化学习中的塑造和策略搜索",至今仍被广泛引用。
Ng 是斯坦福大学计算机科学和电子工程系教授。他曾担任斯坦福人工智能实验室(SAIL)主任,为学生授课并从事数据挖掘、大数据、和机器学习相关研究。他在斯坦福大学开设的机器学习课程CS229是校内最受欢迎的课程,有些年份有超过1000名学生选修: 《机器学习》(第1位)、《面向所有人的人工智能》(第5位)、《神经网络与深度学习》(第6位)。
2008年,他在斯坦福大学的研究小组是美国最早开始倡导在深度学习中使用GPU的研究小组之一。其理由是,高效的计算基础设施可以将统计模型训练的速度提高几个数量级,从而改善与大数据相关的一些扩展问题。自2017年以来,吴恩达一直在倡导向高性能计算(HPC)转变,以扩大深度学习的规模并加快该领域的进展。
他是STAIR(斯坦福人工智能机器人)项目的主要科学家和首席研究员,该项目开发了机器人操作系统(ROS),这是一个广泛使用的开源软件机器人平台。他的愿景是制造人工智能机器人,让每个家庭都拥有机器人,这激励了斯科特-哈桑(Scott Hassan)支持他,并创建了 Willow Garage
他还是斯坦福 WordNet 项目的创始团队成员之一,该项目利用机器学习扩展克里斯蒂安-费尔鲍姆(Christiane Fellbaum)创建的普林斯顿 WordNet 数据库
2012年,他与斯坦福大学计算机科学家达芙妮-科勒(Daphne Koller)共同创办了 Coursera,并担任该网站的首席执行官,Coursera 是一家向所有人提供免费在线课程的网站。
2011年至2012年,他在谷歌工作,与杰夫-迪恩(Jeff Dean)、格雷格-科拉多(Greg Corrado)和拉贾特-蒙加(Rajat Monga)共同创建并领导了谷歌大脑深度学习项目。该项目利用谷歌的分布式计算基础设施开发了大规模人工神经网络。其显著成果之一是在16,000个CPU内核上使用深度学习算法训练的神经网络,该网络仅在观看YouTube视频后就学会了识别猫,而且从未被告知 "猫"是什么。该项目技术目前也被用于安卓操作系统的语音识别系统。
2014年,他加入百度,担任首席科学家,开展大数据和人工智能相关研究。在那里,他成立了多个研究团队,研究领域包括人脸识别和用于医疗保健的人工智能聊天机器人Melody。他还为公司开发了名为DuerOS的人工智能平台和其他技术,使百度在人工智能的论述和开发方面领先于谷歌。2017年3月,他宣布从百度辞职。
随后,吴恩达推出了 Landing AI,提供人工智能驱动的 SaaS产品。通过 Landing AI,他还致力于实现人工智能技术的民主化,降低企业和开发者的准入门槛。
2018年1月,吴恩达发布了人工智能基金(AI Fund),募集1.75亿美元用于投资新的初创公司。2021年11月,Landing AI 获得了由麦擎资本(McRock Capital)领投的5700万美元A轮融资,用于帮助制造商采用计算机视觉
2019年,吴恩达推出了一门新课程 "AI for Everyone"。这是一门非技术性课程,旨在帮助人们了解人工智能对社会的影响、对企业的好处和成本,以及如何在这场技术革命中游刃有余。
除此以外,Ng 是 Woebot 实验室的董事会主席,该实验室是一家利用数据科学提供认知行为疗法的心理诊所。该公司提供的治疗聊天机器人可帮助治疗抑郁症等疾病。他还是 drive.ai 的董事会成员,该公司将人工智能用于自动驾驶汽车,并于2019年被苹果公司收购。
他目前居住在加利福尼亚州的洛斯阿尔托斯山。2014年,他与 Carol E. Reiley 结婚。他们有两个孩子:一个女儿生于2019年,一个儿子生于2021年。
卡罗尔-伊丽莎白-雷莉(Carol Elizabeth Reiley)(1982-),美国企业高管、计算机科学家和模特。她是外科手术、太空探索、灾难救援、和自动驾驶汽车领域远程操作和自主机器人系统的先驱。雷利曾在直觉外科、洛克希德-马丁、和通用电气工作。她现在是一家医疗保健初创公司的首席执行官、旧金山交响乐团的创意顾问和娇兰化妆品公司的品牌大使。她是一位出版过儿童读物的作家,是登上 MAKE 杂志封面的第一位女性工程师,被福布斯、Inc 和 Quartz 评为领先的企业家和有影响力的科学家。

雷莉1982年出生于密歇根州弗林特市。她的父亲是一名工程师,母亲是一名空乘人员;赖莉对技术和全球人道主义工作的兴趣归功于他们。她有一个同样是工程师的弟弟。Reiley的父母来自台北,她在一个讲普通话的家庭中长大。

雷莉的第一个发明是她8岁时制作的人道捕鼠器,用来捕捉她逃跑的宠物仓鼠。她十岁时受《保姆俱乐部》系列丛书的启发,开始了她的第一笔生意。她的第一份职业工作是在15岁时担任 "家庭作业帮助热线"(Homework Helpline)节目的电视主持人,这是一档面向K-12年级学生的地方有线电视节目,在节目中回答数学和英语问题。

雷莉于2004年获得圣克拉拉大学计算机工程学士学位主攻机器人研究;2007年获得约翰霍普金斯大学计算机科学硕士学位,主攻触觉学。她在斯坦福大学的人工智能实验室工作了一年,当时她的博士导师正在那里休假。在撰写论文期间,她因有创业想法而退学搬到硅谷。

2014年,Reiley与Andrew Ng结婚。《麻省理工科技评论》将Ng和Reiley命名为 "人工智能实力夫妇"。IEEE Spectrum对他们的订婚消息进行了报道。


出版物与奖项
吴恩达在计算机视觉和深度学习方面的研究成果经常见诸新闻稿和评论。
他在NeurIPS等期刊上发表了数百篇人工智能论文。他担任过《人工智能研究期刊》(JAIR)的编辑、IEEE机器人与自动化学会会议编辑委员会(ICRA)的副主编等。
他曾应邀在NASA、谷歌、微软、洛克希德-马丁、马克斯-普朗克学会、斯坦福大学、普林斯顿大学、宾夕法尼亚大学、康奈尔大学、麻省理工学院、加州大学伯克利分校等数十所大学发表演讲。在美国之外,他还在西班牙、德国、以色列、中国、韩国和加拿大进行过演讲。
他还为Harvard Business Review, HuffPost, Slate, Apple News,和Quora Sessions' Twitter 撰稿。
他为美国未来学家马丁-福特(Martin Ford)所著 Architects of Intelligence 一书撰写了一章。
他撰写了 Machine Learning Yearning 一书,为那些对机器学习感兴趣的人提供实用指南,并免费分发。


  • 1995. 贝尔大西洋网络服务奖学金。
  • 1995, 1996. 微软技术奖学金。
  • 1996. 安德鲁-卡内基协会奖学金。
  • 1998-2000: 伯克利奖学金。
  • 2001-2002: 微软研究奖学金。
  • 2007. Alfred P. Sloan Research Fellowship Sloan Foundation Faculty Fellowship 2007。
  • 2008. 麻省理工学院(MIT)技术评论,35岁以下35位创新者(TR35)
  • 2009. IJCAI计算机与思想奖(授予35岁以下研究人员的人工智能领域最高奖项)2009。
  • 2009. Vance D. & Arlene C. Coffman 学院学者奖。
  • 2013. 时代百名最具影响力人物 2013。
  • 2013. 《财富》杂志40位40岁以下人士。
  • 2013. CNN十大思想家。
  • 2014. Fast Company “最具商业创造力人物”。
  • 2015. 世界经济论坛全球青年领袖。



具体信息详见
https://www.deeplearning.ai/courses/machine-learning-specialization/

计算语言实践基地
贝贝成,专注于计算语言学领域。