走进“青椒课堂”|大数据实训之Hadoop数据分析

科技   2025-01-14 18:01   北京  

大数据

Hadoop数据分析

《Hadoop技术与大数据应用》是互联网软件工程(大数据、人工智能)专业的一门核心课程,让学生精通Hadoop技术在大数据分析处理中的理念与逻辑,并具备使用Java编程语言开发Hadoop应用程序的能力。此外,课程深入探讨了Hadoop框架的理论基础,包括环境设置、Hadoop分布式文件系统(HDFS)、资源管理框架YARN以及MapReduce分布式计算模型。

该课程采用理论教学与实践操作相结合的方法,让学生掌握使用Hadoop技术分析实际项目的技能,帮助学生应对企业级的真实挑战,培养专业技能和技术思维能力,为未来深入学习Hadoop生态系统夯实基础。

实训网址

https://www.qingjiaoclass.com/market/detail/60988

课程收获

01. 50+真实项目场景案例,txt、csv、json等多种数据格式;

02. 从实操中巩固基础知识要点,使用Java开发Hadoop程序;

03. 从数据来源到分析再到落地,多种场景全方位进行项目实战演练;

04. 达到Hadoop开发、数据分析、架构工程师等工作的基本水平。

课程目标

1


掌握Hadoop基础知识,理解三大组件工作原理,独立完成环境部署;

2


使用分布式计算框架对多种数据进行分析处理;

3


了解推荐算法原理,使用推荐算法对数据进行预测分析;

4


通过学习服务器数据采集、大数据可视化工具等模块,完善大数据技术体系。

技能要点

    Hadoop基础阶段

  • HDFS集群部署

  • SSH免密登陆

  • YARN集群部署

  • 模拟NameNode宕机恢复

  • HDFS的Shell命令操作

    Java基础开发阶段

  • 倒排索引

  • MapReduce序列化、排序

  • MapReduce的combiner

  • Java API操作HDFS

  • QQ好友推荐案例实现

    项目实战阶段

  • 使用MapReduce程序分析数据

  • 使用协同过滤算法实现电影推荐

  • 理解Nginx服务器日志文件生成

  • 使用MySQL数据库存储结果数据

  • 使用FineBI对数据进行可视化

实训项目

    基础篇

  • 第一章:Hadoop集群搭建

  • 第二章:HDFS shell命令

  • 第三章:HDFS核心设计

  • 第四章:HDFS原理实践

  • 第五章:HDFS的Java API操作

  • 第六章:MapReduce程序开发

  • 第七章:MapReduce组件

    进阶篇

  • 第八章:MapReduce进阶

  • 第九章:MapReduce扩展案例

    高阶篇

  • 案例一:电影评分推荐

  • 案例二:互联网日志数据分析

  • 案例三:电商业务数据分析

  • 案例四:纽约交通事故数据分析


关注“新道工科”公众号,“青椒课堂”平台内容全知道!




新道工科聚焦新IT与工业互联网,涵盖信息安全、工业互联网、大数据、人工智能、区块链、智能网联汽车、智能制造、工业智能等多个专业领域,基于用友集团和新道科技的产业基底与技术优势,不断深化和拓展数智化教学产品和内容,形成覆盖范围更广的课程体系及综合解决方案,为本科、高职、中职院校提供优质教学服务。

扫码关注

新道工科

微信号|hongyaa-2012

新道工科
北京红亚华宇科技有限公司(新道工科)隶属用友集团,是新道科技股份有限公司全资子公司。红亚科技肩负科技使能教育、服务中国教育事业的使命,致力于打造新时代的新工科人才培养新体系,为国内本科、高职、中职院校提供优质的教学服务。
 最新文章