以下,是我聽演講,上網搜尋找到的相關資料,分享給大家

然後我很懶得去抓圖片來這邊貼,所以沒有圖片

本來想說要不要錄成影片,但是太麻煩了,而且也不知道有沒有人看

如果有錯誤的地方,再請各位厲害的大大指教,謝謝

===================================================

 

[科技新知] 大數據分析

上一篇說到Hadoop系統可以串聯多台伺服器電腦,並且讓大數據可以再這些電腦上運算

而且它可以做到備份檔案這件事情,這篇我就簡單講一下這件事情

 

這個運作系統叫Hadoop Distributed File System,簡稱HDFS

中文應該是翻成,Hadoop分散式檔案系統,可以將一大堆電腦串接再一起,利用一個電腦總管管理

並且在存進檔案的時候也會自動備份三份,並且存放到不同電腦中

如果有一台電腦突然掛掉,也不用怕檔案GG,因為會有自動修復功能

 

簡單來說,檢設某公司總共有五台運算電腦,分別叫A、B、C、D、E

被HDFS串接起來之後,存放了三個檔案,分別叫佐助、鳴人、小櫻好了

剛剛說了這個系統會自動備份三份,分別存放

 

所以A電腦存了佐助跟鳴人,B電腦存了鳴人跟小櫻,C電腦存了佐助跟小櫻

D電腦也是存佐助跟小櫻,E就存了鳴人

 

到這邊應該都OK吧?

 

如果要讀出檔案的時候,HDFS就會叫三台電腦的檔案進行比對,之後顯示給User

假如我要看佐助的檔案,系統就會Call電腦A、電腦C跟電腦D來比對並顯示

 

那如果哪天剛好電腦A秀逗了,HDFS這個系統也會即時備份

會找幾台沒有電腦A資料的電腦存放資料

 

因為A是存放佐助跟鳴人,所以當電腦A掛掉之後

E電腦可能就要多存一份佐助,C電腦多存一份鳴人

等到A修復好之後,這些檔案才又會自動平分到個電腦去

 

但是HDFS系統也不是無敵的喔,它還是有個極限值,假設有100台電腦

其中15號、77號、96號存了X檔案,但是好死不死這三台電腦一起掛點

摁...懂?

 

而且如果電腦掛掉愈多,代表某幾台電腦需要存的檔案量也愈多,所以這並不是一個完美無缺的系統

雖然軟體系統看似很屌,但還是需要硬體的幫助

還是需要定期檢查硬體有沒有壞掉或需要修復

 

有了這個系統,可以更簡單地去存取所需要的資料,所以才有大數據分析

下一篇文章我將會簡單描述大數據目前在生活中的應用

 

那就先這樣了

 

 

 

 

 

 

 



LINE.png

我的LINE貼圖!點我點我

我的LINE貼圖!點我點我

 

我有粉絲專頁唷,如果喜歡我的朋友可以到我的粉絲專頁按個讚唷

 

arrow
arrow

    DoubleCool 發表在 痞客邦 留言(0) 人氣()