大数据
Hadoop数据分析
《Hadoop技术与大数据应用》是互联网软件工程(大数据、人工智能)专业的一门核心课程,让学生精通Hadoop技术在大数据分析处理中的理念与逻辑,并具备使用Java编程语言开发Hadoop应用程序的能力。此外,课程深入探讨了Hadoop框架的理论基础,包括环境设置、Hadoop分布式文件系统(HDFS)、资源管理框架YARN以及MapReduce分布式计算模型。
该课程采用理论教学与实践操作相结合的方法,让学生掌握使用Hadoop技术分析实际项目的技能,帮助学生应对企业级的真实挑战,培养专业技能和技术思维能力,为未来深入学习Hadoop生态系统夯实基础。
实训网址
https://www.qingjiaoclass.com/market/detail/60988
01. 50+真实项目场景案例,txt、csv、json等多种数据格式;
02. 从实操中巩固基础知识要点,使用Java开发Hadoop程序;
03. 从数据来源到分析再到落地,多种场景全方位进行项目实战演练;
04. 达到Hadoop开发、数据分析、架构工程师等工作的基本水平。
掌握Hadoop基础知识,理解三大组件工作原理,独立完成环境部署;
使用分布式计算框架对多种数据进行分析处理;
了解推荐算法原理,使用推荐算法对数据进行预测分析;
通过学习服务器数据采集、大数据可视化工具等模块,完善大数据技术体系。
Hadoop基础阶段
HDFS集群部署
SSH免密登陆
YARN集群部署
模拟NameNode宕机恢复
HDFS的Shell命令操作
Java基础开发阶段
倒排索引
MapReduce序列化、排序
MapReduce的combiner
Java API操作HDFS
QQ好友推荐案例实现
项目实战阶段
使用MapReduce程序分析数据
使用协同过滤算法实现电影推荐
理解Nginx服务器日志文件生成
使用MySQL数据库存储结果数据
使用FineBI对数据进行可视化
基础篇
第一章:Hadoop集群搭建
第二章:HDFS shell命令
第三章:HDFS核心设计
第四章:HDFS原理实践
第五章:HDFS的Java API操作
第六章:MapReduce程序开发
第七章:MapReduce组件
进阶篇
第八章:MapReduce进阶
第九章:MapReduce扩展案例
高阶篇
案例一:电影评分推荐
案例二:互联网日志数据分析
案例三:电商业务数据分析
案例四:纽约交通事故数据分析
关注“新道工科”公众号,“青椒课堂”平台内容全知道!
新道工科聚焦新IT与工业互联网,涵盖信息安全、工业互联网、大数据、人工智能、区块链、智能网联汽车、智能制造、工业智能等多个专业领域,基于用友集团和新道科技的产业基底与技术优势,不断深化和拓展数智化教学产品和内容,形成覆盖范围更广的课程体系及综合解决方案,为本科、高职、中职院校提供优质教学服务。
扫码关注
新道工科
微信号|hongyaa-2012