?

主要授課內(nèi)容

???

大數(shù)據(jù)分析挖掘算法

內(nèi)容一：大數(shù)據(jù)分析挖掘算法

1．業(yè)界常見的大數(shù)據(jù)分析應(yīng)用場景以及對應(yīng)的分析算法模型應(yīng)用，及其案例

2．常用的統(tǒng)計(jì)分析模型的介紹，包括方差分析、線性擬合、回歸、邏輯回歸、因子分析、主成分分析、時(shí)間序列分析的基礎(chǔ)知識(shí)

3．常用的數(shù)據(jù)挖掘模型介紹，重點(diǎn)介紹六類機(jī)器學(xué)習(xí)與挖掘模型算法

4．業(yè)界主流的數(shù)據(jù)倉庫工具和數(shù)據(jù)分析挖掘相關(guān)工具軟件的應(yīng)用概述

內(nèi)容二：機(jī)器學(xué)習(xí)

1．機(jī)器學(xué)習(xí)概念、發(fā)展歷程

2．機(jī)器學(xué)習(xí)的應(yīng)用場景

3．機(jī)器學(xué)習(xí)與統(tǒng)計(jì)分析

4．無監(jiān)督式學(xué)習(xí)概述

5．有監(jiān)督式學(xué)習(xí)概述

6．半監(jiān)督式學(xué)習(xí)概述

7．強(qiáng)化學(xué)習(xí)概述

8．人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述

9．深度學(xué)習(xí)概述

10．機(jī)器學(xué)習(xí)的應(yīng)用場景和應(yīng)用案例

Spark大數(shù)據(jù)實(shí)時(shí)與高性能處理平臺(tái)剖析

內(nèi)容：Spark大數(shù)據(jù)實(shí)時(shí)與高性能處理平臺(tái)剖析

1．Spark實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)架構(gòu)

2．Spark編程模型以及Spark編程實(shí)例解析

3．Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機(jī)制

4．Spark Core的核心組件剖析

5．Spark系統(tǒng)架構(gòu)和運(yùn)行過程剖析

6．Spark on Yarn運(yùn)行原理和實(shí)例

7．Spark RDD transform、滑動(dòng)窗口、foreachRDD性能優(yōu)化、持久化、checkpoint、容錯(cuò)與事務(wù)、與Spark SQL整合使用

8．基于Spark的實(shí)時(shí)數(shù)據(jù)倉庫與實(shí)時(shí)分析挖掘處理的應(yīng)用實(shí)踐，以及應(yīng)用案例

?

Spark SQL應(yīng)用實(shí)戰(zhàn)

內(nèi)容：Spark SQL應(yīng)用實(shí)戰(zhàn)

1．Spark SQL實(shí)時(shí)數(shù)據(jù)倉庫的實(shí)現(xiàn)原理與操作

2．Spark SQL核心代碼剖析

3．Spark SQL客戶端開發(fā)包API

4．Spark SQL實(shí)時(shí)統(tǒng)計(jì)應(yīng)用

5．Spark SQL應(yīng)用程序開發(fā)實(shí)踐

Spark Streaming應(yīng)用實(shí)戰(zhàn)

內(nèi)容：Spark Streaming應(yīng)用實(shí)戰(zhàn)

1．Streaming與Storm在實(shí)時(shí)流計(jì)算處理應(yīng)用場景下的案例與比較

2．Spark Streaming與Spark交互的實(shí)現(xiàn)機(jī)制

3．Spark Streaming的核心代碼剖析

4．Spark Streaming客戶端編程實(shí)踐

5．Spark Streaming實(shí)時(shí)流數(shù)據(jù)分析處理應(yīng)用開發(fā)實(shí)踐

數(shù)據(jù)預(yù)處理與特征選擇

內(nèi)容一：數(shù)據(jù)預(yù)處理

1．?dāng)?shù)據(jù)抽取、轉(zhuǎn)換和加載

2．?dāng)?shù)據(jù)清洗

3．特征處理

內(nèi)容二：特征選擇與降維

1．特征選擇概述

2．Filter

3．Wrapper

4．Embedded

5．特征擴(kuò)增

6．降維、PCA、LDA、LLE、SVD

機(jī)器學(xué)習(xí)算法

內(nèi)容一：有監(jiān)督學(xué)習(xí)

1．KNN算法

2．決策樹算法

3．SVM算法

4．樸素貝葉斯算法

5．邏輯回歸算法

6．線性回歸算法

7．集成算法

內(nèi)容二：無監(jiān)督學(xué)習(xí)

1．聚類算法

2．關(guān)聯(lián)算法

內(nèi)容三：模型評估與優(yōu)化

1．模型優(yōu)化與評估概念

2．最優(yōu)化模型

3．模型評估與選擇

Spark MLlib數(shù)據(jù)挖掘

內(nèi)容：Spark? MLlib數(shù)據(jù)挖掘

1．?? Spark MLlib概述

2．?? Spark MLlib評估矩陣

3．?? Spark MLlib關(guān)聯(lián)規(guī)則與推薦算法

4．?? Spark MLlib聚類與降維

5．???Spark MLlib分類與回歸

6．?? Spark MLlib特征提取和轉(zhuǎn)換

7．?? Spark MLlib基礎(chǔ)統(tǒng)計(jì)分析

大數(shù)據(jù)挖掘案例

內(nèi)容：綜合實(shí)驗(yàn)

?