Cloudera 数据分析师培训
培训班型： 公开课
课程长度： 3天/18小时
培训日期： 待定
认证考试： 暂无
培训地点： 博学国际教育培训中心
环境要求： 投影仪、白板、大白纸
培训形式： 实例讲授，现场演、练、及时沟通
培训资料： 培训教材
课程内容
课程概述：
了解Apache Pig、Apache Hive及Apache Impala如何通过删选、连接进行数据转换和数据分析，以及利用其它常见技术自定义用户功能。
培训前提：
建议需具备SQL、简单Unix/Linux命令和脚本编程经验。无需Hadoop基础和其他经验。
授课对象：
需要使用Hadoop来进行数据分析的数据分析员，商业分析员，开发员以及 系统管理员。
培训目标：
Apache Hadoop基础及数据ETL（包括数据提取、转换及加载）、如何通过使用Hadoop相关工具将数据载入Hadoop并进行分析处理
如何使用Apache Pig对多个关联的数据集进行join操作以及如何分析不同的独立数据
如何使用Apache Hive：通过定义合适的表来组织数据、执行各种数据变换、简化复杂查询
如何使用Impala来对存储在HDFS里的大规模数据进行实时和交互式的分析查询
如何根据数据分析任务来选择合适的数据分析工具
环境准备：
1、操作系统：Linux
2、java环境：jdk6以上
3、硬件环境：电脑内存4G以上
课程内容：
> 关于该课程
> 关于 Cloudera
> 课程的逻辑介绍
Hadoop 基础
> Hadoop的动机
> Hadoop 概况
> HDFS
> MapReduce
> Hadoop 生态圈
> 实验场景介绍
> 实验: 用Hadoop工具导入数据
Pig简介
> 什么是 Pig?
> Pig的特性
> Pig使用案例
> 和Pig交互
用Pig进行基本数据分析
> Pig Latin 语法
> 数据装载
> 简单数据类型
> Field 定义
> 数据输出
> 表结构视图
> 数据过滤和排序
> 常用功能
> 实验: 用Pig 执行ETL流程
Pig处理复杂数据
> 存储格式
> 复杂/Nested嵌套的数据类型
> 成群
> 处理复杂数据的内置功能
> 迭代成群的数据
> 实验: 用Pig分析广告战役的数据
Pig的多数据组操作
> 集成多数据组的技术
> Pig链接多数据组
> 组操作
> 数据组分裂
> 实验: 用Pig分析离散的数据组
扩展 Pig
> 用参数带来灵活性
> Macros 和 Imports
> UDFs
> Contributed Functions
> 用其他语言和Pig一起处理数据
> 实验: 用流处理和UDFs扩展Pig
Pig 故障排查和优化
> Pig故障排查> 记录日志
> 使用Hadoop Web 界面
> 演示: 用Web 界面排查一个故障的任务
> Data 采样和故障排查
> 性能简介
> 理解执行计划（Execution Plan）
> 提高你Pig任务性能的窍门
Hive简介
> 什么是 Hive?
> Hive 表结构和数据存储
> 对比Hive和传统数据库
> Hive vs. Pig
> Hive 使用案例
> 和Hive的互操作
Hive的关系数据分析
> Hive 数据库和表
> 基本HiveQL 语法
> 数据类型
> 链接数据组
> 通用内建功能
> 实验: 在Shell, 脚本和Hue上运行运行Hive 查询
Hive 数据管理
> Hive 数据格式
> 创建数据库和 由 Hive管理的表
> 向 Hive装载 数据
> 改变数据库和表
> 自治表格
> 用视图简化查询
> 排列查询结果
> 数据的访问控制
> 实验: Hive的数据管理
Hive 的文本处理
> 文本处理简介
> 重要的字符串（String）功能
> 使用Hive 的标准表达式（Regular Expressions）
> Sentiment Analysis and N-Grams
> 实验: 通过敏感性分析（Sentiment Analysis）收获洞察
Hive 优化
> 理解查询性能
> 控制任务执行计划
> 分区
> Bucketing
> 索引数据
Hive扩展
> SerDes
> 用定制脚本完成数据转型
> 自定义功能
> Parameterized Queries
> 实验: Hive的数据转型
Impala 简介
> 什么是 Impala?
> Impala 和 Hive和 Pig的不同
> 局限和未来方向
> 使用Impala Shell
采样Impala分析数据
> 基本语法
> 数据类型
> 过滤, 排序, and Limiting Results
> 链接和组队数据
> 提升 Impala 性能
> 实验: Impala的交互式分析
为任务选择*的工具
> 对比 MapReduce, Pig, Hive, Impala和关系数据库
> 选择哪个?
