hadoop三大組件是什么
發(fā)布時間：2025-10-28 06:17:42
?
閱讀量：19次
?
來源：互聯(lián)網(wǎng)
操作環(huán)境：Windows7系統(tǒng)，Dell G3電腦。
hadoop三大組件：
1、HDFS
一個高可靠、高吞吐量的分布式文件系統(tǒng)
存儲海量數(shù)據(jù)
分布式
安全性
副數(shù)據(jù)
數(shù)據(jù)是以block的方式進行存儲的，128M
比如：200M—128M 72M
2、MapReduce
一個分布式的離線并行計算框架
對海量數(shù)據(jù)的處理
分布式
思想：
分而治之
大數(shù)據(jù)集分為小的數(shù)據(jù)集
每個數(shù)據(jù)集進行邏輯業(yè)務(wù)處理（map）
合并統(tǒng)計數(shù)據(jù)結(jié)果（reduce）
3、Yarn
分布式資源管理框架
管理整個集群的資源（內(nèi)存、CPU核數(shù)）
分配調(diào)度集群的資源
相關(guān)視頻推薦：PHP編程從入門到精通