|
課程培訓
|
IBM大數據內訓，spark培訓
Spark培訓課程
第一講 Spark大數據實時處理技術 1）大數據處理技術概述 2）Spark實時處理技術 3）Spark生態系統BDAS 4）Spark架構分析
第二講 Spark安裝配置及監控 1）Linux開發環境準備 2）Hadoop2.X和Scala 3）搭建Spark開發環境 4）Idea及Eclipse編譯和運行 5）Spark監控管理
第三講 Scala編程語言使用概述 1) Scala編程語言 2) 基本數據類型 3) 操作基本數據類型 4) 類和對象 5) 組合和繼承
第四講 Spark分布式計算框架 1）Spark計算模型 2）彈性分布式數據集RDD 3）Spark的數據存儲 4）Transformation算子分類及功能 5）Actions算子分類及功能
第五講 Spark內部工作機制詳解 1) Spark底層實現原理 2) Spark應用執行機制 3) Spark調度與任務分配模塊 4) FIFO和FAIR調度算法 5) 相關源碼分析
第六講 Spark數據讀取與存儲 1）Spark的I/O機制 2）Spark中的數據壓縮 3）Spark的數據讀取與存儲 4）Spark數據讀寫流程 5）相關源碼分析
第七講 Spark通信模塊和容錯機制 1）Spark通信模塊 2）通信框架AKKA 3）容錯機制和Lineage依賴 4）檢查點機制進行容錯 5）Shuffle過程 6）相關源碼分析
第八講 SQL On Spark 1) BDAS數據分析軟件棧 2) SQL On Spark 3) Spark SQL工具使用 4) Shark工具使用 5) Hive on Spark工具 6) Spark操作HBase中的數據 7）相關源碼分析
第九講 Spark流數據處理工具Streaming 1）流數據處理工具Streaming 2）Spark Streaming架構 3）Spark Streaming原理 4）Spark Streaming實例 5）相關源碼分析
第十講 Spark中的大數據挖掘工具MLlib
1）大數據挖掘工具MLlib 2）MLlib的數據存儲 3）MLlib中的聚類和分類 4）MLlib算法應用實例 5）利用MLlib進行推薦 5）相關源碼分析
第十一講 Spark大規模圖處理工具GraphX 1）大規模圖處理工具GraphX 2）GraphX的運行架構 3）GraphX操作使用 4）GraphX使用實例 5）相關源碼分析
第十二講 Spark與其他大數據技術的融合與應用 1）與Hadoop/Yarn集群應用的協作 2）與Docker等其它云工具配合 3）Spark在移動互聯網業務中的應用 4）Spark綜合案例分 如果您想學習本課程，請預約報名
如果沒找到合適的課程或有特殊培訓需求，請訂制培訓 除培訓外，同時提供相關技術咨詢與技術支持服務，有需求請發需求表到郵箱soft@w908.cn,或致電4007991916 技術服務需求表點擊在線申請 服務特點： 海量專家資源，精準匹配相關行業，相關項目專家，針對實際需求，顧問式咨詢，互動式授課，案例教學，小班授課，實際項目演示，快捷高效，省時省力省錢。 專家力量： 中國科學院軟件研究所，計算研究所高級研究人員 oracle,微軟，vmware，MSC,Ansys，candence,Altium,達索等大型公司高級工程師，項目經理，技術支持專家 中科信軟培訓中心，資深專家或講師 大多名牌大學，碩士以上學歷，相關技術專業，理論素養豐富 多年實際項目經歷，大型項目實戰案例，熱情，樂于技術分享 針對客戶實際需求，案例教學，互動式溝通，學有所獲 |
|
