授课方式:培训课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
课程目标:本次课程以实际的演练(环境部署,程序开发)为主,分享大规模Hadoop应用的一线最有效实用经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce与Hive的中高级应用开发技能,快速高效搭建稳定可靠的Hadoop集群,满足生产环境的标准。
课程内容的分为4个部分:
• 进入Hadoop的精彩世界,介绍Hadoop生态系统的各个组成模块与适用场景。
• Hadoop部署,编程与管理,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
• MapReduce编程:讲解演示MapReduce的中高级应用开发技能。
• Hive与HBase编程:根据实际例子讲解Hive的使用与UDF的开发,以及如何通过JAVA编写HBase应用。
培训内容:
进入Hadoop的精彩世界 文件存储-HDFS
HDFS-工作原理
数据计算MapReduce
MapReduce工作原理
SQL分析-Hive
海量实时读写-HBase
工作流调度-0oize
分布式协调系统--Zookeeper
Hadoop部署与编程 Hadoop版本介绍与选择
Hadoop部署实践
Hadoop安装文件构成与配置体系
机器硬件建议配置
系统环境配置
基本参数配置与说明
进程分布规划与启动
Hadoop基本使用操作
HDFS
权限
MapReduce
HDFS编程
开发环境准备
读文件
写文件
Hadoop系统容灾策略
Hadoop资源调度策略
Hadoop安全
Hadoop系统监控与报警策略
MapReduce编程 MapReduce的定义与工作机制
MapReduce与分布式计算
编程实战
MapReduce程序编写
基于MapReduce的Sort操作
基于MapReduce的Join操作
Hadoop多语言编程框架Streaming
代码调试
运行日志
Hive与HBase编程 Hive环境部署与搭建
Hive工作机制
Hive语法与实践
数据压缩选择
gzip
bz2
lzo
rcfile
HBase编程示例
HBase系统架构
HBase性能测试
Hadoop系统管理 Hadoop系统容灾策略
Hadoop资源调度策略
Hadoop高级配置参数
Hadoop安全
Hadoop系统监控与报警策略