Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data reduction (dimensionality reduction (Autoencoder (Undercomplete…

- - - - Discrete wavelet transform (DWT)
        
        Haar wavelet transform
        
        原本矩陣中變化量不大的元素經過轉換後會趨近零，再配合適當量化便可以達到壓縮的效果了。若一矩陣作完哈爾小波轉換後所含的零元素非常多的話，稱此矩陣叫稀疏，若一矩陣越稀疏壓縮效果越好。
        
        對一矩陣Ａ做Haar wavelet transform的公式：
        
        特性：
        
        不需要乘法（只有相加或加減）
        
        運算速度極快
        
        維度小，計算時需要占用的內存空間少
        
        Daubechies wavelet
        
        多貝西小波的分類是以消失動量（vanishing moment）的值A（亦為消失動量的個數）為依據（A稱為tap），調整函式（scaling function）及小波函式（wavelet function）的平滑度（smoothness）皆會隨著消失動量的值（tap）增加而增加
        
        A=1：多貝西小波即是哈爾小波（Haar wavelet），調整函式及小波函式都是不連續的
        
        A=2：多貝西小波的調整函式及小波函式為不能平滑微分的連續函式
        
        當A愈大時，多貝西小波的兩個函式平滑度會愈來愈高
        
        多貝西小波也是一種正交小波，很容易經由快速小波轉換（fast wavelet transform（FWT））實現
        
        離散小波轉換顧名思義就是離散的輸入以及離散的輸出，但是這裡並沒有一個簡單而明確的公式來表示輸入及輸出的關係，只能以階層式架構來表示。
        
        先從水平的每個row 做wavelet transform 以後，再從垂直的每個column做wavelet transform
        
        以正交小波（orthogonal wavelet）為基底
    - - Given M data vectors of N-dimensions, find c <= N orthogonal vectors that can be best used to represent data (N->c dimensions)
      - Each data vector is a linear combination of the principal component vectors (PCs), which are uncorrelated
      - 限制：
        
        Works for numeric data only
        
        Used when the number of dimensions is large
      - 主要想法：對一個feature值來說，喜歡variance比較大的feature，假設現在有Ｐ個features，把這Ｐ個features拿來做線性組合，線性組合後variance最大的狀況，這個線性組合就是一個能代表這一組feature的新的單一特徵
    - - 定義
        
        Given a data matrix 𝑋 (𝑛 , 𝑝), SVD decompose 𝑋 into three matrices:
        
        Both 𝑈 and 𝑉 are orthogonal matrix
        
        Σ (MxN): singular values, has nonzero elements on its diagonal, square root of the eigenvalues of XXT (or XTX)
        
        U (MxM): left singular vectors of X, columns of U are the orthogonal eigenvectors of XXT
        
        V(NxN): right singular vectors of X, columns of V are the orthogonal eigenvectors of XTX
        
        This decomposition corresponds to the idea that the data matrix 𝑋 is the result of the interaction of two group of 􏴸factors􏰤􏲫􏰱􏰦.􏴹
        
        Matrix V in the SVD decomposition.
        For a new data element x, xV defines the transformed data. Keeping the first c (c < N) dimensions, amounts to keeping only the first c rows of VT.
      - 使用SVD基本想法：兩個東西interact產生現在的dataset X，用SVD就是在還原這兩個東西
    - - 當生成了詞彙－文檔矩陣後，LSA提供了一種對它的低維近似（可以通過對字詞—文檔矩陣的奇異值分解（SVD）來實現）
      - 應用：
        
        比對文件之間的概念（資料挖掘、文件分類）
        
        分析後比對不同語言文章的相似度（跨語檢索）
        
        找出字詞間的關聯（同義詞或是多義性）
        
        給定一個查詢詞彙，轉換到概念空間，且找出符合的文件（資訊檢索）
    - - Given a non-negative matrix V, find non-negative matrix factors W and H such that V»WH, where V(n x m), W(n x c), H(c x m)
      - Only allowing adding of basis images makes intuitive sense
      - Forcing the reconstruction coefficients to be positive leads to nice basis images.
        To reconstruct images, all you can do is add in more basis images.
        This leads to basis images that represent parts
      - Like PCA, except the coefficients in the linear combination cannot be negative
  - - - Using Gradient Descent to train the model
        
        Squared error loss function
        
        Cross entropy loss function（兩個分佈越接近，則cross entropy越小）
    - - Hidden layer is Undercomplete if smaller than the input layer
      - Compresses the input.
      - Hidden nodes will be good features for the training distribution, May be bad for other types on input,
      - 一個 hidden node是由下面六個dimension裡面的部分特徵
        每個node學到六個node的一些特徵
    - - Hidden layer is Overcomplete if greater than the input layer
      - No compression in hidden layer. Each hidden unit could copy a different input component
- - - - Divide data into buckets and store average (sum) for each bucket. Can be constructed optimally in one dimension using dynamic programming
    - - Partition data set into clusters, and one can store cluster representation only
      - Can be very effective if data is clustered but not if data is “smeared”
- - - - Segmentation by Natural Partitioning
        
        利用資料自然的分佈狀況來分割資料，越密集的地方切愈多段，越散的地方切愈少段
        
        ＥＸ：3-4-5 rule
      - Entropy-Based Discretization
        
        利用entropy 來找到最佳的切點，使資料最有差異性，此最佳切點最具有鑑別力（計算每切法之entropy，找到最小entropy、information gain最高之離散點）
      - 比較：
        
        entropy 不考慮真實情況，只在乎如何切使資料最具有異質性，對資料不夠認識時可用
        
        Natural Partitioning 將真實之可能離散情況考慮進去，如考慮年齡群族差異可以將0-80歲劃分為0-20（小孩）、20-65（壯年）、65-80（老年）