深圳大数据Hadoop培训

课程亮点

以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。

适用对象

不限

学习目标

了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统

课程内容

大数据背景与思维

1. 什么是大数据

2. 大数据技术的产生背景

3. 大数据应用场景

4. 大数据思维

5. 大数据产业链

6. 大数据是如何变革各行业的技术架构、商业模式和组织方式

7. 大数据必备的技术基础

*天

Hadoop 2.0

大数据基础理论介绍

Master/Slave结构

消息机制

RPC原理

Hadoop 1.0 存在的问题及现有的解决方案

Hadoop 2.0 各厂商版本对比

Cloudera

Hontorworks

华为等

Apache Hadoop 大数据平台全流程解决方案

Cloudera Hadoop 大数据平台全流程解决方案

HDP Hadoop 大数据平台解决方案

Hadoop 2.0 项目结构解析

Hadoop工作原理及架构

第二天

Hadoop集群运维高阶实践-案例与实验

运行节点的监控

失败节点的恢复

新节点的添加

Master节点的HA解决方案

失败任务的恢复

损坏数据的恢复

第三天

Hive架构及实践案例沙盘演练

Hive系统部署与搭建

Hive工作机制

基于Hive的大数据加载过程

Hive程序编写性能建议

MapJoin

数据倾斜

Join顺序

UDF编写注意事项

快速获取结果TopN

通过Explain观察Hive行为

动手实验:完成Hive的搭建与配置

典型案例分析:基于Hive的大型电信通话记录分析示例,详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合

第四天

Spark架构及实践

案例沙盘演练

1.2 Spark的重要扩展

1.2.1 Spark SQL和Dataframe

1.2.2 Spark Streaming

1.2.3 Spark MLlib和ML

1.2.4 GraphX

1.2.5 SparkR

2.3 运行Spark应用程序

2.3.1 Local模式运行Spark应用程序

2.3.2 Standalone模式运行Spark应用程序

2.3.3 YARN模式运行Spark

2.3.4 应用程序提交和参数传递

3 Spark程序开发

3.1 使用Spark Shell编写程序

3.1.1 启动Spark Shell

3.1.2 加载text文件

3.1.3 简单RDD操作

3.1.4 简单RDD操作应用

3.1.5 RDD缓存

3.2 构建Spark的开发环境

3.2.1 准备环境

3.2.2 构建Spark的Eclipse开发环境

3.2.3 构建Spark的IntelliJ IDEA开发环境

3.3 独立应用程序编程

3.3.1 创建SparkContext对象

3.3.2 编写简单应用程序

3.3.3 编译并提交应用程序

案例实战:一个用户画像的Spark分析实例, 演练使用Spark进行经典用户画像分析的实例

第五天

Spark Streaming应用开发

Spark Streaming Java实例开发、运行

Spark Streaming Java实例的运行过程分析

Spark Streaming内部数据传输过程分析

Spark Streaming应用开发总结(API回顾,典型应用模式总结)

Spark Streaming消息可靠性保证机制介绍

Spark Streaming实时大数据算法解析案例

Spark Streaming实时大数据报警案例

Spark Streaming实时大数据的调整与改进