深圳大数据Spark实战培训班

课程亮点

师资:专职讲师团队,丰富行业经验和企业培训经验

特色:小班培训,精品课程,面授+直播+录播,上课方式多样

培训:免费重听

适用对象

不限

学习目标

了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统

课程内容

大数据背景与思维

1. 什么是大数据

2. 大数据技术的产生背景

3. 大数据应用场景

4. 大数据思维

5. 大数据产业链

6. 大数据是如何变革各行业的技术架构、商业模式和组织方式

7. 大数据必备的技术基础

*天

互联网电信大数据应用案例深度解析

大数据在通信及互联网行业的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点

互联网企业遇到大数据的问题

案例分享:海量数据通信行业解决方案

案例分享:基于通信网元实时数据的海量数据解决方案

案例分享:*电信用户画像分析系统的大数据变现案例分析

案例分享:淘宝大数据分析案例分析

*天

海量数据处理系统

的架构设计

这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。

海量数据处理的系统场景

大数据时代的数据架构解决方案

海量数据处理的架构汇总

8种海量数据处理的架构设计比较

分布式系统架构的海量数据处理设计

海量数据处理设计

典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计

第二天

案例及动手实验

HDFS实战-Java API使用

PB 级大数据存储系统的项目案例分析

HDFS部署、配置与性能调优实战

典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程

Hadoop MapReduce深入解析

使用 Hadoop MapReduce Streaming 编程

MapReduce流程

基本MapReduceAPI 概念

MapReduce的优化

MapReduce的任务调度

MapReduce编程实战

满足解决实际数据分析问题的高级Hadoop API

第三天

Hive架构及实践案例沙盘演练

Hive系统部署与搭建

Hive工作机制

基于Hive的大数据加载过程

Hive程序编写性能建议

MapJoin

数据倾斜

Join顺序

UDF编写注意事项

快速获取结果TopN

通过Explain观察Hive行为

动手实验:完成Hive的搭建与配置

典型案例分析:基于Hive的大型电信通话记录分析示例,详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合

第四天

Spark架构及实践

案例沙盘演练

1.2 Spark的重要扩展

1.2.1 Spark SQL和Dataframe

1.2.2 Spark Streaming

1.2.3 Spark MLlib和ML

1.2.4 GraphX

1.2.5 SparkR

2.3 运行Spark应用程序

2.3.1 Local模式运行Spark应用程序

2.3.2 Standalone模式运行Spark应用程序

2.3.3 YARN模式运行Spark

2.3.4 应用程序提交和参数传递

3 Spark程序开发

3.1 使用Spark Shell编写程序

3.1.1 启动Spark Shell

3.1.2 加载text文件

3.1.3 简单RDD操作

3.1.4 简单RDD操作应用

3.1.5 RDD缓存

3.2 构建Spark的开发环境

3.2.1 准备环境

3.2.2 构建Spark的Eclipse开发环境

3.2.3 构建Spark的IntelliJ IDEA开发环境

3.3 独立应用程序编程

3.3.1 创建SparkContext对象

3.3.2 编写简单应用程序

3.3.3 编译并提交应用程序

第五天

Spark Streaming应用开发

Spark Streaming Java实例开发、运行

Spark Streaming Java实例的运行过程分析

Spark Streaming内部数据传输过程分析

Spark Streaming应用开发总结(API回顾,典型应用模式总结)

Spark Streaming消息可靠性保证机制介绍

Spark Streaming实时大数据算法解析案例

Spark Streaming实时大数据报警案例

Spark Streaming实时大数据的调整与改进