EasyHadoop 开发培训课程

 EasyHadoop 开发培训课程

课程目标:此课程面向企业软件工程师、数据库工程师、以及对Hadoop开发感兴趣的各类技术人员。通过此课程的学习，学员可以全面掌握Hadoop的架构原理和使用场景，并通过贯
穿课程的习题项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍，帮助学员为企业在利用大数据方面体现
自身价值。目标学员:软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员
 

培训大纲

一、Hadoop MapReduce
流程分析    
     ·Hadoop JobTracker 详解回顾
     ·Hadoop TaskTracker 详解回顾
     ·Hadoop 任务提交流程详解"
二、使用 Hadoop MapReduce Streaming 编程    
     ·Hadoop Streaming 和 Java MapReduce Api 差异。
     ·学习使用 MapReduce 实现数据库功能,比如select group by join union all )
三、MapReduce分布式程序
     ·MapReduce流程
     ·剖析一个MapReduce程序
     ·基本MapReduceAPI 概念
     ·驱动代码
     ·Mapper
     ·Reducer
     ·API 使用Eclipse进行快速开发
     ·上机实验
     ·新MapReduce API
四、Hadoop 核心代码导读
     ·Hadoop Mapper 类核心代码导读
     ·Hadoop Reducer 类核心代码导读
五、HDFS分布式文件系统编程     
     ·Hadoop HDFS 回顾
     ·Hadoop NameNode 回顾
     ·Hadoop DataNode 回顾
     ·hadoop I/O 操作
     ·使用Hadoop HDFS API对HDFS编程
六、Hadoop Mapreduce高级编程
     · ToolRunner介绍
     ·使用MRUnit进行测试
     ·利用Combiners来减少中间数据
     ·使用Configure和Close方法来进行Map/Reduce设置和关闭
     ·编写Partitioner来优化负载平衡
     ·上机实验
     ·直接访问Hadoop分布式文件系统（HDFS）
     ·使用分布式缓存（Distributed Cache）
     ·上机实验 "
七、MapReduce的优化
     ·map优化
     ·reduce优化
     ·小文件优化"
八、MapReduce的任务调度
     ·Queue调度的使用
     ·公平调度的使用
     ·能力调度的使用"
九、MapReduce编程实战
     ·Hadoop的join操作
     ·Hadoop的二次排序
     ·Hadoop的海量日志分析"
十、flume+hadoop日志的收集实战
     ·flume介绍
     ·flume核心组件讲解
     ·flume自带的组件分析
     ·flume二次开发实战