主題

內容見要

Apache Kafka消息系統

·?什么是消息系統

·?異步接口設計的主要業務場景

·?異步消息隊列的應用

·?同步與異步接口在解決不同業務場景時的選型

·?超大型應用系統中消息系統的應用場景深入解析

·?消息系統在應用服務構建時的應用場景

·?消息系統在數據體系構建時的應用場景

·?異步消息隊列設計的核心性能調優4大原則

·?在不同的場景下選用不同調優策略

·?Apache Kafka的基本架構和概念

·?Kafka的設計目標

·?消息隊列的分類

·?Kafka與同類系統的對比

·?Kafka的集群機制

·?Kafka的擴容機制

·?Kafka的消息隊列機制

·?為什么Kafka的吞吐性能極高，其物理IO的設計機制

·?Kafka的容錯機制

案例分析：通過一個超大型百萬級并發微服務架構中Kafka規劃案例解析，如何在應用系統架構中采用Kafka，Kafka所解決的核心關鍵問題

Kafka的架構深度解析

·?Kafka主要組件及其作用

·?AMQP協議

·?Apache Kafka在ZooKeeper上的存儲結構

·?Producer-消息生產者的深入解析與應用場景

·?Consumer-消息消費者的深入解析與應用場景

·?Broker-Kafka服務器集群的實現， 分析應用非功能性需求，定義吞吐定義Broker服務器數量，業務訪問量的推算與集群服務器數量未來增長的預測方案， 當前服務器集群規劃

·?Topic-消息類別定義，如何依據應用特征設計Topic

·?Partition-定義消息分區，為什么需要定義消息分區

·?Replication?副本數定義

·?Offset：消息偏移量的主要應用方法， 使用Offset進行消息的檢索與唯一性保障

·?Consumer Group：多Consumer的應用場景解析，及其在架構中的應用關鍵點

·?In-Sync Replicas

·?Zookeeper?：集群管理與選舉機制，Kafka與ZooKeeper集成的目標

·?Leaders and Follows

案例分析：通過一個超大型百萬級并發微服務架構中Kafka規劃案例解析，如何進行， Broker, Topic, Partition, Replication, ConsumerGroup等的設計過程

Apache Kafka的分布式集群構建與基本操作

·?Apache Kafka在ZooKeeper上的存儲結構

·?ZooKeeper集群的架構解析

·?ZooKeeper分布式集群搭建

·?Broker的配置與搭建

·?Kakfa關鍵配置信息

·?創建ServerID

·?主節點的配置與搭建

·?子節點的配置與搭建

·?集群啟動與集群驗證

·?生產消息與消費消息

·?獲取消息列表

·?刪除Topic

案例實踐：構建一個4臺服務器的Kafka分布式集群，并完成Kafka基礎操作

Kafka集群的容器化

在Docker中構建Kafka集群

Kafka的分布式集群進階-百萬級并發消息處理架構設計

·?Kafka集群的高可用設計

·?Kafka子節點下線

·?添加一個子節點到集群

·?Kafka主機宕機的處理

·?深入解釋Kafka的消息組織原理

·?查看分區Topic的Offset

·?Topic的Partition與Replication設計

·?Topic的Partition擴容

·?Topic的Replication擴容

·?Consumer Group?的設計

·?消息傳輸機制的設計

·?Consumer的再平衡

·?Log Compaction

·?消費怎么保證不丟數據Offset怎么存

·?主節點關閉異常的處理

·?Kafka實現百萬級并發消息系統的架構設計

典型案例分析：分析大型互聯網出行類系統的消息系統應用案例，將整體串講到基于Kafka的消息系統幾大核心問題

一個大型的實例大數據實時流式處理案例實踐-實時LBS位置數據分析-包括數據去噪，降維，通勤路線分析， 通勤實踐分析等實時分析過程

具備掌握Storm/Kafka大數據實時流式處理/異步消息隊列 應用系統的完整 架構設計，具備項目的分析、開發、部署的全過程的能力，貫穿前面課程的主要內容，使大家熟悉一個完整實時流式、異步消息隊列處理額大數據項目的分析、架構設計、開發、部署的全過程

Apache Kafka的應用開發實踐-通過多個案例實踐完成Kafka的關鍵代碼實現

·?Kafka開發環境的構建

·?Kafka的API接口

·?Producer端代碼編程模型

·?Consumer端代碼編程模型

·?多主題的訂閱代碼編程模型

·?提取Offset

·?使用代碼進行消息的遍歷

·?發送消息到指定分區

·?指定分區的消息拉取

·?消息冪等的代碼實現

·?Acks的代碼實現

·?kafka rebalance的監聽

·?Kafka多線程開發

·?Kafka的事務處理

·?Kafka線程處理

Kafka構建微服務解耦消息通知架構

·?微服務解耦消息通知架構的接口設計

·?對Kafka應用的改造使其能夠進行解耦處理

·?微服務消息發送方代碼實現

·?微服務消息接收方代碼實現

·?多實例微服務消息接收方設計與代碼實現

·?多微服務消息接收方代碼實現

·?極限并發下Redis替換Kafka的解決方案實現

·?替換Kafka時避免微服務調用端代碼的修改

案例實踐：對一個大型微服務系統的解耦架構進行解析，實現微服務解耦消息通知架構的代碼，通過該案例代碼完成微服務解耦框架的代碼實現

Kafka性能測試設計

·?Kafka性能工具的選型

·?Kafka性能測試的環境設計

·?Kafka?性能測試的基準測試設計

·?Kafka?性能測試的峰值測試設計

·?Kafka?性能測試的壓力測試設計

·?Kafka?性能測試的疲勞測試設計

案例實踐：構建一個性能測試環境， 開展對Kafka多角度的性能測試

Kafka構建極高并發日志處理系統架構設計

·?日志處理系統的應用場景

·?日志處理系統的核心架構解析

·?Kafka在日志處理系統中的設計

·?Kafka構建日志處理系統的存儲設計

·?Kafka構建日志處理系統的

Apache Kafka與Storm集成案例實踐

·?Storm的運行機制和部署

·?Storm的基本概念和編程模型

·?Storm開發案例

·?Maven pom的配置

·?版本沖突的解決

·?Spout接入Kakfa消息

·?編寫kafka bolt進行消息處理SenqueceBolt

·?Kafka Topic的處理

·?kafka提交topology到storm

·?實時處理應用JAR生成與調度

·?Storm UI的實時監控

案例實踐：通過Kafka集群集成Storm，實現流式數據的實時分析

Apache Kafka與HBase集成案例實踐

·?為什么要集成Kafka與HBase

·?HBase的運行機制和部署

·?HBase的基本概念和編程模型

·?Kafka消息在HBase中的存儲模型的設計

·?Maven pom的配置

·?版本沖突的解決

·?Kafka到HBase連接編程模型

·?Kafka消費消息到HBase編程模型

·?提取Kafka 消息 Offset，實現到HBase的順序讀

·?轉換消息成為 DF

案例實踐：通過Kafka集群集成HBase，實現Kafka與HBase的集成框架代碼