Please enable JavaScript.

Coggle requires JavaScript to display documents.

大數據 (Apache Spark (Spark的核心技術是RDD (RDD的設計概念由來Resilient Distribute Datasets…

- - - - HDFS 的設計概念是這樣的。在一群電腦裡面，找一台電腦當老大，叫做 Master Node。它必須負責管理所有的電腦(包含自己)的資料的存放狀態、控制讀寫動作。所以裝了一個程式叫 Name Node 來做管理這件事。也裝了一個 Data Node 的程式來放資料。其他的電腦，叫做 Worker Node，裝了一個 Data Node 的程式來放資料。放資料的規則是，先把一個檔案，切成數個小塊(block)，每塊為 64 MB，然後， Name Node 會讓檔案塊，分散到各個不同的 Data Node 去，而且，還會讓整個電腦叢集裡，每一個檔案塊，都有三份。若是 Name Node 發現檔案塊遺失或損壞，會開始尋找其他的 Data Node 上的副本來複製，使得整個電腦叢集維持每個檔案塊的數量都有三份。
      - 64MB, 3分檔案區塊
      - (1)它不怕單一資料存放區的硬體壞掉，壞掉照常工作，並自動回復、
        (2)它不怕單一檔案的大小超過一個磁碟區的大小、
        (3)資料存放區的大小，可以動態增加。
    - - 分成map及Reduce概念，map是將工作分散給各節點，Reduce是將工作結果整合。
    - - Hadoop 的 NameNode 不會將整個資料，直接轉移到任意一個 DataN ode 中
      - 如果資料檔案太大，Hadoop 就將其分割並分散儲存資料備份
      - 與關聯式資料庫相比，Hadoop 輸出的結果比較不精準
      - 資料檔案一旦建立，就不允許修改。
- - - - 網頁雖有其特殊的連結（link）結構，可以從中取得一些資訊，如網頁間的關連（association），但是每個網頁本身的內容並沒有限定其呈現方式，它類似文字文件，卻又包含各式多媒體資料，因此可能會比一般的文件或資料庫更難以擷取出有用的資訊。
    - - 網頁使用探勘（Web Usage Mining）
        
        使用者對網頁的存取情形
      - 網頁結構探勘（Web Structure Mining）
        
        網頁與網頁間的連結狀況
      - 網頁內容探勘（Web Content Mining）
        
        網頁內容本身所包含的資料加以分析