課程內容

▲????Apache Hadoop介紹

●?????Hadoop介紹及優勢

●?????基本概念

●?????Hadoop核心組件

●?????實操練習：網絡配置

▲????Hadoop集群安裝

●?????集群管理方案

●?????Cloudera Manager特征

●?????Cloudera Manager安裝

●?????CDH介紹及安裝

●?????實操練習1：安裝Cloudera ? Manager服務

●?????實操練習2：創建Hadoop集群

▲????Hadoop分布式文件系統（HDFS）

●?????HDFS特性

●?????讀寫文件

●?????NameNode內存注意事項

●?????HDFS安全簡介

●?????HDFS web UI

●?????使用hadoop 文件 ? shell

●?????實操練習：使用HDFS

▲????YARN上的MapRduce和Spark

●?????計算平臺在hadoop中扮演的角色

●?????YARN（集群資源管理器）的介紹

●?????MapRduce概念介紹

●?????Spark概念介紹

●?????在YARN上運行計算框架

●?????通過web UIs和shell探索YARN應用程序

●?????YARN應用程序日志介紹

●?????實操練習：運行YARN應用程序

▲????Hadoop配置及服務運行日志

●?????Cloudera Manager的配置管理機制

●?????定位配置參數及更改應用配置

●?????管理角色實例及添加服務

●?????配置HDFS服務

●?????配置Hadoop Daemon日志

●?????配置YARN服務

●?????實操練習：探索hadoop配置及守護程序日志

▲????向HDFS導入數據

●?????使用Flume從外部數據源實時導入數據

●?????使用Sqooq從關系數據庫中導入數據

●?????REST接口介紹

●?????導入數據的最佳實踐

●?????實操練習1：Flume的使用

●?????實操練習2：使用Sqooq導入數據

▲????Hadoop集群規劃

●?????總體規劃考慮因素

●?????硬件選擇

●?????虛擬化選項

●?????云部署選項

●?????網絡考慮因素

●?????節點配置

▲????Hive、Impala及Pig的安裝及配置

●?????Hive介紹

●?????Impala介紹

●?????Pig介紹

●?????Cloudera搜索

●?????實操練習：使用Hive和Impala查詢HDFS

▲????Hadoop客戶端及Hue

●?????Hadoop客戶端介紹

●?????安裝和配置Hadoop客戶端

●?????安裝和配置Hue

●?????使用Hue進行身份驗證及授權

●?????實操練習：使用Hue來控制hadoop用戶訪問

▲????集群高級配置

●?????高級配置參數

●?????Hadoop端口配置

●?????HDFS機柜感知配置

●?????HDFS高可靠性配置

●?????實操練習：配置HDFS的高可靠性

▲????Hadoop安全

●?????Hadoop安全的重要性

●?????Hadoop的安全性概念

●?????Kerberos簡介及工作原理介紹

●?????使用Kerberos保護Hadoop集群

●?????其他安全特性

▲????資源管理

●?????使用靜態服務資源池配置cgroups

●?????公平調度器

●?????配置動態資源池

●?????YARN內存和CPU設置

●?????Impala查詢調度

●?????實操練習：Fair Sheduler的使用

▲????集群維護

●?????檢查HDFS狀態

●?????集群間的數據拷貝

●?????添加和移除Cluster節點

●?????集群數據的負載平衡

●?????創建目錄快照

●?????集群更新升級

●?????實操練習1：驗證集群的自我修復功能

●?????實操練習2：創建HDFS快照

▲????集群監控及排錯

●?????Cloudera Manager監控特性

●?????監控Hadoop集群

●?????Hadoop集群的排錯

●?????實操練習1：配置Email警告

●?????實操練習2：排錯挑戰