Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data Analytics Process, Statistical Machine Learning, Python, Qui trình…

- - - - Là thuật toán gom cụm theo phân hoạch
        (partitional clustering). Thuật toán k-means phân hoạch dữ liệu cho trước vào k cụm (clusters)
        
        Một cụm có một trung tâm, gọi là centroid
        
        k được xác định trước
      - Thuật toán hoạt động như sau:
        
        Ngẫu nhiên chọn k điểm dữ liệu (seeds) để
        khởi tạo điểm trung tâm cho cụm (centroids)
        
        Gán điểm dữ liệu vào centroid gần nhất
        
        Tính toán lại centroids dựa trên các thành
        viên hiện tại của cụm
        
        Nếu điều kiện hội tụ chưa thỏa, quay lại bước 2
      - Điều kiện dừng/hội tụ:
        
        Không (hoặc ít nhất) gán lại điểm dữ liệu vào một cụm khác
        
        Không (hoặc ít nhất) thay đổi của centroids
        
        Tổng bình phương độ lỗi là nhỏ nhất
      - Điểm mạnh:
        
        Thuật toán gom cụm phổ biến nhất
        
        Thuật toán đơn giản, độ phức tạp tuyến tính
        
        Lưu ý: thuật toán dừng ở tối ưu cục bộ của SSE. Tối ưu toàn cục là khó tìm
      - Điểm yếu:
        
        Thuật toán chỉ áp dụng được nếu có thể
        định nghĩa điểm trung bình
        
        Người sử dụng phải xác định k
        
        Thuật toán ‘nhạy cảm’ với các ngoại lệ
        (outliers)
- - - - T-test
        
        One Sample T-test: Trung bình của nhóm khác với giá trị giả thuyết
        
        Two Sample T-test: Trung bình của hai nhóm là khác nhau
        
        Paired T-test: Cặp trung bình của hai tính chất của cùng đối tượng là khác nhau
      - ANOVA Test (F-test)
        
        Sử dụng cho nhiều hơn hai nhóm
        
        F-statistic = MSb/MSw
      - Chi-Square Test
        
        Sử dụng cho dữ liệu nhiều phân lớp
  - - - Là tìm đường thẳng phù hợp nhất để biểu diễn sự liên hệ của biến phụ thuộc (Y) vào biến độc lập (X)
        y = ax + b + e
      - Giá trị của y tương ứng với giá trị của x trong tập dữ liệu gọi là giá trị quan sát được (Observed value)
      - Giá trị y tính được từ x qua phương trình đường hồi qui gọi là giá trị ước lượng (Fitted value)
      - Residual = Observed value – Fitted value
    - - Tổng bình phương độ lỗi:
    - - Phương pháp Stepwise
      - Phương pháp Best Subset: Chọn tập con cho kết quả tốt nhất từ 2k tập con có thể
    - - Predicted R2: Sử dụng pp cross-validation để tính R-square để bảo đảm tính tổng quát hơn của mô hình
      - R-Square , P-value, Mallows’ Cp
      - Adjusted R2: Tăng khi biến mới làm tăng hiệu năng của mô hình. Một biến chọn sai có thể làm giảm Adjusted R2
    - - Khi mô hình ‘quá khớp’ với dữ liệu học nhưng không áp dụng tốt cho các dữ liệu khác
      - Các dấu hiệu nhận biết:
        
        R-square tăng khi biến độc lập tăng
        
        R-square khác quá xa Predicted R-squared
      - Cách phát hiện:
        
        Cross Validation
        
        Sử dụng predicted R-squared: đây là chỉ số R-squared sử dụng pp tương tự cross-validation
      - Cách phòng tránh:
        
        Mẫu phải được chọn ngẫu nhiên
        
        Kích thước mẫu phải đủ lớn
    - - Chia tập dữ liệu thành k phần, sử dụng k-1 phần làm dữ liệu học (training data) và 1 phần làm dữ phần làm dữ liệu học (training data) và 1 phần làm dữ liệu kiểm tra (test data)
      - Lặp lại k lần chạy mô hình với các dữ liệu test và train khác nhau, tính giá trị trung bình của độ đo mô hình
      - Sử dụng với Python
        
        Sử dụng thư viện:
        
        scikit-learn.model_selection
        
        KFold
        
        RepeatedKFold
        
        Thực hiện và tính độ đo trung bình: cross_val_score
    - - Lasso (Least Absolute Shrinkage
        and Selection Operator)
        
        Là một cải tiến của OLS: Đưa thêm tham số λ vào hàm lỗi để ‘điều chỉnh’ ảnh hưởng của các hệ số gốc trong phương trình hồi qui. λ phù hợp được chọn thông qua cross-validation
      - Ridge
      - Elastic Net
    - - Hồi quy đa thức (Polyminal Regression)
      - Hồi quy Logistic (Logistic Regression)
        
        Khi biết phụ thuộc chỉ là 2 giá trị => Phân lớp nhị phân
        
        Hàm sử dụng sigmnod