以下,是我聽演講,上網搜尋找到的相關資料,分享給大家

然後我很懶得去抓圖片來這邊貼,所以沒有圖片

本來想說要不要錄成影片,但是太麻煩了,而且也不知道有沒有人看

如果有錯誤的地方,再請各位厲害的大大指教,謝謝

===================================================

 

OK,這篇我要講到的是,結構化與非結構化的數據差異

結構化,很簡單,顧名思義就是具有結構(廢話

 

你EXCEL可以分析的數據,基本上就是已經結構化的數據

你很清楚每個Row、每個Column是代表什麼意思,要如何分析

這基本上就是已經結構化的數據,不難懂吧!

 

那再說一件事情,就是要拿來分析的數據,一定要結構化,嗯!這也是廢話

但為什麼這篇的主題是結構化與非結構化呢?所以代表有一項東西是非結構化的

 

沒錯,那就是大數據系統裡面的數據,是非結構化的

那你是不是會想說,我在唬人啊,上面說要分析一定要結構化,但是仔細想想,這句話並不衝突啊

 

大數據系統裡面的數據,是非結構化的,所以,當我們要進行大數據分析

第一件事情,當然就是把這些數據結構化

 

結構化之後,你就可以很清楚找到你想要找的資料

你可以定位,哪個Row哪個Column是哪個數字

非結構化的數據不行,就是亂的,當然你也可以找你想要的數據,但是就是比較難找

你需要從頭到尾一一找起,所以浪費時間

 

基本上有了大數據系統,你也只是把一大堆Data丟到某個海量空間

要如何在裡面拿出你想要的東西,這才是重點

這時候你就要想,你的Row要放些什麼數據,你的Column是要什麼數據

再去從大數據庫裏面去抓出來,分析那些就好了,並不是把所有的數據全部拿來分析一遍

 

所以,使用大數據系統一定要很清楚你需要什麼樣的數據,如果你不知道你需要什麼

那大數據系統充其量就只是一個大垃圾桶

你可以在大垃圾桶裡面找出你不小心丟掉的錢包,但你一定要很清楚你的錢包長啥樣子

不然難道你要一個個翻開來看嗎?懂我意思嗎?

 

當然你也可以先在大數據系統裡面先進行簡單的分類,建立Meta data

或是批次性地處理那些大數據,但最後還是要回歸到結構化的部分

數據結構化,你才可以做增加、刪除、修改與查詢,你才可以做分析、轉換等相關應用

 

直接大數據庫裡面開始建立你想要的分類,或者說是行列等概念

就必須應用到一種叫NoSQL的技術,有別於較常見的SQL

你可以把SQL想成EXCEL的概念,就是已經幫你規劃好了,你不需要自己去弄,很方便,只需要分析

但是NoSQL比較靈活一點,你可以自己弄,想法有點像,但實際操作不太一樣

不過如果你只是想要知道概念,這樣就很夠了

 

不然也可以自己自行Google NoSQL

這篇就講到這邊,下一篇我會簡單描述一下大數據分析系統的步驟

謝謝

 

 

 

 

 

 

 



LINE.png

我的LINE貼圖!點我點我

我的LINE貼圖!點我點我

 

我有粉絲專頁唷,如果喜歡我的朋友可以到我的粉絲專頁按個讚唷

 

arrow
arrow

    DoubleCool 發表在 痞客邦 留言(0) 人氣()