“ 用 友 杯 ”
“用友杯”第七届全国大学生大数据技能竞赛已进入选拔赛阶段，为帮助选手学习竞赛知识，提升实操技能，竞赛平台的线上学习空间新增实训项目，针对性指导选拔赛段考核重点。
实训模块三
Hadoop批处理调度器：Azkaban
Azkaban单一任务调度管理
任务目标
了解Azkaban WEB UI界面功能
掌握Azkaban单一任务调度
单一任务调度流程
project创建
job创建
job打包
上传job
执行工作流
查看工程
执行结果
执行日志
Azkaban多任务调度管理
任务目标
掌握依赖调度实现流程
掌握依赖调度中增加子流
掌握定时任务调度实现
依赖调度实现流程
创建project
依赖工作流指用户按照顺序执行自定义作业，从而完成整体任务调度流程。首先需要创建调度项目Flow。
开发工作流
dependencies--编写job文件--压缩job文件--上传压缩包--运行工作流
查看工作流
MapReduce任务调度管理
任务目标
掌握MapReduce程序任务调度流程实现
MapReduce程序实现
（1）Map端：获取行数据，对行数据按空格切分、单词记为1。
（2）Reduce端：获取map端数据，对数据进行求和统计。
（3）Driver端：设置mapreduce程序实现、输入输出路径（参数传递）等。
（4）程序打包处理：测试程序并进行打包处理，上传至服务器指定目录。
综合案例：Hive脚本任务调度管理
任务目标
掌握Hive脚本任务调度管理流程
Hive脚本任务调度管理流程
数据准备--编写Hive脚本--创建job文件--压缩job文件--创建project--上传压缩包--执行工作流--查看执行--验证结果
操作指引
实操练习及详细任务演示，请使用PC端浏览器打开竞赛系统链接：
https://nqxbknmmmwod.vip.qingjiaoclass.com/
注册/登录个人账号后，输入邀请码：
RRSMEP
加入学习空间后，即可开始实训操作。
点击文末“阅读原文”，可直接跳转学习空间
新道工科聚焦新IT与工业互联网，涵盖信息安全、工业互联网、大数据、人工智能、区块链、智能网联汽车、智能制造、工业智能等多个专业领域，基于用友集团和新道科技子公司红亚科技的产业与技术优势，不断深化和拓展数智化教学产品和内容，形成覆盖范围更广的课程体系及综合解决方案，为本科、高职、中职院校提供优质教学服务。
扫码关注
新道工科
微信号｜hongyaa-2012
