一、Hadoop集群簡(jiǎn)介

Hadoop集群整體概述

Hadoop集群包括兩個(gè)集群： HDFS集群、YARN集群兩個(gè)集群邏輯上分離、通常物理上在一起兩個(gè)集群都是標準的主從架構集群

Hadoop集群簡(jiǎn)介

Hadoop集群=HDFS集群 YARN集群

邏輯上分離

兩個(gè)集群互相之間沒(méi)有依賴(lài)、互不影響

物理上在一起

某些角色進(jìn)程往往部署在同一臺物理服務(wù)器上

MapReduce集群呢？

MapReduce是計算框架、代碼層面的組件 沒(méi)有集群之說(shuō)

二、Hadoop集群模式安裝(Cluster mode)

Hadoop源碼編譯

安裝包、源碼包下載地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/

為什么要重新編譯Hadoop源碼?

匹配不同操作系統本地庫環(huán)境， Hadoop某些操作比如壓縮、 IO需要調用系統本地庫(*.so|*.dll)修改源碼、重構源碼。

如何編譯Hadoop

源碼包根目錄下文件： BUILDING.txt 詳細步驟參考附件資料

課程提供編譯好的Hadoop安裝包

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

Step1:集群角色規劃

角色規劃的準則

根據軟件工作特性和服務(wù)器硬件資源情況合理分配

比如依賴(lài)內存工作的NameNode是不是部署在大內存機器上？

角色規劃注意事項

資源上有搶奪沖突的，盡量不要部署在一起

工作上需要互相配合的。盡量部署在一起

編輯Step2:服務(wù)器基礎環(huán)境準備

主機名(3臺機器)

vim /etc/hostname

Hosts映射(3臺機器)

vim /etc/hosts

防火墻關(guān)閉(3臺機器)

systemctl stop firewalld.service 關(guān)閉防火墻systemctl disable firewalld.service 禁止防火墻開(kāi)啟自啟

ssh免密登錄(node1執行-