深圳大数据处理运用开发培训

课程亮点

以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。

适用对象

不限

学习目标

了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统

课程内容

大数据背景与思维

1. 什么是大数据

2. 大数据技术的产生背景

3. 大数据应用场景

4. 大数据思维

5. 大数据产业链

6. 大数据是如何变革各行业的技术架构、商业模

式和组织方式

大数据应用-运营商案例分析

大数据时代的数据特征与数据来源分析

大数据时代的发展趋势—软件应用的泛互联网化

大数据时代的发展趋势—行业应用垂直整合

大数据时代的发展趋势—数据银行的诞生

大数据时代处理数据理念的三个大改变

大数据时代的核心技术-数据分析技术(Hadoop、MPI、BSP)

大数据时代的核心技术-数据挖掘

大数据分析的核心技术-可视化技术精解

大数据时代的精髓-预测技术

目前运营商大数据利用现状

利用大数据存在的问题

数据质量分析

场景不足

数据不统一的问题解决

如何进化金融行业的大数据基础数据

案例分享: 对外数据服务-数据到价值的转换, 我们能够提供的对外大数据服务

案例分享:位置数据货币化-如何为俏江南提供选址报告

互联网金融大数据应用案例深度解析

大数据在互联网金融及传统金融公司的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点

互联网企业遇到大数据的问题

案例分享:海量数据金融解决方案

案例分享:基于区块链的金融信任体系海量数据解决方案

案例分享:淘宝飞天平台实践

案例分享:微信红包大数据分析

案例分享:互联网金融的大数据分析

案例分享:金融行业在风控, 营销, 产品设计, 营业网点分析等领域的大数据分析

案例分享:一个大型银行的核心信用系统大数据项目分析案例深入剖析

大数据企业级平台选型方案

开源方案:Hadoop,Spark

海量数据处理系统

的架构设计

这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。

海量数据处理的系统场景

大数据时代的数据架构解决方案

海量数据处理的架构汇总

8种海量数据处理的架构设计比较

分布式系统架构的海量数据处理设计

海量数据处理设计

典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计

Hadoop集群架构搭建及实践案例沙盘演练

Hadoop版本介绍与选择

Hadoop部署实践

系统环境配置

进程分布规划与启动

Hadoop基本使用操作

HDFS核心架构分析

开发环境准备

读文件

写文件

Eclipse与Hadoop的集成

基于HDFS的命令总结

基于的API编程模型及其开发演练

Hadoop集群架构搭建方法

Hadoop集群架构性能管理

Namenode单点问题改进

HDFS,NameNode,DataNode的调优和节点扩展*佳实践

主要调优工具和性能监控工具

Hadoop集群对于硬件的要求和选型

Hadoop集群中对硬件、操作系统的调优方法

实际案例分析

基于Hadoop的集群解决方案

典型案例分析:结合一个大型金融行业大数据系统的实例案例分析及演练Hadoop集群架构搭建过程

典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程

动手实验:完成Hadoop整体集群体系的搭建,配置与优化

HDFS原理及高级程序实战演练(深入理解HDFS)

HDFS架构及原理

HDFS NameNode、DataNode解析

HDFS 副本机制块机制解析

HDFS实战-命令行等使用

HDFS命令行工具

启动、停止HDFS服务

如何查看HDFS日志

如何查看HDFS Web控制台

HDFS参数配置

PB级Hadoop存储架构设计