Please enable JavaScript.

Coggle requires JavaScript to display documents.

Applied Data Analytics - Coggle Diagram

- - - - Từ chiến lược phát triển, kinh doanh của tổ chức/doanh nghiệp
      - Xác định vấn đề cụ thể cần phân tích
    - - Đảm bảo dữ liệu đại diện được cho vấn đề cần phân tích
      - Lưu ý:
        Tránh phiến diện (incomplete), thiên vị (Bias)
        Hiểu dữ liệu và định dạng của dữ liệu
    - - Kiểm tra giả thuyết (Hypothesis Test)
      - Hồi qui (Regression)
      - Máy học (Machine Learning)
    - - Sử dụng các công cụ trực quan để trình bày một cách thuyết phục các kết quả tìm thấy
      - Lưu ý:
        Xác định đối tượng trình bày
        Sử dụng từ ngữ nghiệp vụ
        Nên sử dụng biểu đồ, hình ảnh
    - - Sử dụng kỹ thuật khác nhau (hầu hết là đồ thị trực quan) để phát hiện các thông tin ẩn trong tập dữ liệu
      - Mục tiêu:
        Đề xuất giả thuyết về nguyên nhân của hiện tượng quan sát được
        Thử nghiệm các giả thuyết dựa trên suy dẫn thống kê
        Hỗ trợ chọn công cụ thống kê và các kỹ thuật phân tích
        Cung cấp cơ sở cho việc thu thập dữ liệu thông qua khảo sát hay thực nghiệm
  - - - Mô tả tính chất của dữ liệu thông qua một số độ đo (measures)
      - Các độ đo trung tâm (Central Tendency)
      - Các độ đo về độ biến động (Variation)
      - Tính đối xứng (Symmetric) hay lệnh (Skewness) so với trung tâm
      - Sự tương quan giữa hai biến
    - - Là quá trình suy dẫn ra các tham số của một tập nghiên cứu (population) từ các chỉ số thống kê của một mẫu (sample)
      - Các bước thực hiện:
        Xác định tập nghiên cứu (population)
        Chọn mẫu (sample)
        Phân tích các chỉ số thống kê của mẫu
        Suy dẫn kết luận về các tham số của tập nghiên cứu
  - - - Với N mẫu đủ lớn, trung bình của các điểm trung bình của các tập mẫu (sample) sẽ hội tụ đến trung bình của tập nghiên cứu (population)
    - - Đo độ lỗi giữa ước lượng và giá trị thực
      - Thường được tính là độ lệch chuẩn của phân phối trung bình của các mẫu
    - - Ước lượng điểm (Point Estimates): là một giá trị cụ thể ước lượng cho các tham số của population
      - Ước lượng khoảng (Interval Estimates): là một khoảng giá trị ước lượng cho các tham số của population
      - Khoảng tin cậy (Confidence Interval): là khoảng giá trị mà giá trị thực của tham số sẽ rơi vào với một độ tin cậy (Confidence Level) cho trước
      - Độ tin cậy ( (Confidence Level): là mức độ tin cậy của khoảng tin cậy
    - - Hypothesis Testing
        
        Các bước thực hiện:
        Phát biểu Giả thuyết rỗng (Null Hypothese) và Giả thuyết khác rỗng (Alternative Hyphothese)
        Chọn tập mẫu
        Xác định mức ý nghĩa (Significance Level)
        Phân tích chỉ số thống kê của mẫu
        Kết luận
        
        Kiếm tra tham số (The parametric test): z-test, t-test, f-test
        Kiểm tra phi tham số (The nonparametric test): sign test, Wilcoxon Rank-sum test, Kruskal-Wallis test và permutation test
        
        Kiểm định giả thuyết là quá trình sử dụng số liệu thống kê để xác định xác suất một giả thuyết cụ thể là đúng
        
        Các loại kiểm định giải thuyết cơ bản
        
        T-test
        
        One Sample T-test: Trung bình của nhóm khác với giá trị giả thuyết
        
        Two Sample T-test: Trung bình của hai nhóm là khác nhau
        
        Paired T-test: Cặp trung bình của hai tính chất của cùng đối tượng là khác nhau
        
        ANOVA Test (F-test)
        
        Sử dụng cho nhiều hơn hai nhóm
        
        F-statistic = MSb/MSw
        
        Chi-Square Test
        
        Sử dụng cho dữ liệu nhiều phân lớp
        
        Độ tự do (Degree of Freedom): Độ tự do là số giá trị của mẫu có thể tự do lấy giá trị mà vẫn bảo đảm có cùng các chỉ mẫu không thay đổi
      - Linear Regression
        
        Là một phương pháp tìm sự liên quan giữa hai hay nhiều biến. Ước lượng sự liên quan bằng một hàm số, sao cho sai số là nhỏ nhất. Có thể xem hồi quy tuyến tính là mô hình học máy có giám sát
        
        Biểu diễn sự liên hệ giữa các biến
        Dự báo giá trị biến phụ thuộc dựa vào giá trị biến độc lập
        Trong trường hợp đa biến, có thể phân tích vai trò các biến trong mô hình
        
        Hồi qui tuyến tính đơn biến (Simple Regression)
        
        Là tìm đường thẳng phù hợp nhất để biểu diễn sự liên hệ của biến phụ thuộc (Y) vào biến độc lập (X)
        y = ax + b + e
        
        Giá trị của y tương ứng với giá trị của x trong tập dữ liệu gọi là giá trị quan sát được (Observed value)
        
        Giá trị y tính được từ x qua phương trình đường hồi qui gọi là giá trị ước lượng (Fitted value)
        
        Residual = Observed value – Fitted value
        
        Hồi qui tuyến tính đa biến (Multiple Regression)
        
        Phương pháp bình phương nhỏ nhất (Ordinary Least Square (OLS) Method)
        
        Tổng bình phương độ lỗi:
        
        Độ đo chất lượng của đường hồi quy: R-square có giá trị từ 0% - 100%. Giá trị càng lớn độ ‘tốt’ của đường hồi qui càng cao
        
        Các phương pháp chọn mô hình hồi quy
        
        Phương pháp Stepwise
        
        Phương pháp Best Subset: Chọn tập con cho kết quả tốt nhất từ 2k tập con có thể
        
        Độ đo sử dụng để chọn mô hình
        
        Predicted R2: Sử dụng pp cross-validation để tính R-square để bảo đảm tính tổng quát hơn của mô hình
        
        R-Square , P-value, Mallows’ Cp
        
        Adjusted R2: Tăng khi biến mới làm tăng hiệu năng của mô hình. Một biến chọn sai có thể làm giảm Adjusted R2
        
        Overfitting
        
        Khi mô hình ‘quá khớp’ với dữ liệu học nhưng không áp dụng tốt cho các dữ liệu khác
        
        Các dấu hiệu nhận biết:
        
        R-square tăng khi biến độc lập tăng
        
        R-square khác quá xa Predicted R-squared
        
        Cách phát hiện:
        
        Cross Validation
        
        Sử dụng predicted R-squared: đây là chỉ số R-squared sử dụng pp tương tự cross-validation
        
        Cách phòng tránh:
        
        Mẫu phải được chọn ngẫu nhiên
        
        Kích thước mẫu phải đủ lớn
        
        K-fold Cross-Validation
        
        Chia tập dữ liệu thành k phần, sử dụng k-1 phần làm dữ liệu học (training data) và 1 phần làm dữ phần làm dữ liệu học (training data) và 1 phần làm dữ liệu kiểm tra (test data)
        
        Lặp lại k lần chạy mô hình với các dữ liệu test và train khác nhau, tính giá trị trung bình của độ đo mô hình
        
        Sử dụng với Python
        
        Sử dụng thư viện:
        
        scikit-learn.model_selection
        
        KFold
        
        RepeatedKFold
        
        Thực hiện và tính độ đo trung bình: cross_val_score
        
        Kỹ thuật tránh Overfitting
        
        Lasso (Least Absolute Shrinkage
        and Selection Operator)
        
        Là một cải tiến của OLS: Đưa thêm tham số λ vào hàm lỗi để ‘điều chỉnh’ ảnh hưởng của các hệ số gốc trong phương trình hồi qui. λ phù hợp được chọn thông qua cross-validation
        
        Ridge
        
        Elastic Net
        
        Các loại hồi quy khác
        
        Hồi quy đa thức (Polyminal Regression)
        
        Hồi quy Logistic (Logistic Regression)
        
        Khi biết phụ thuộc chỉ là 2 giá trị => Phân lớp nhị phân
        
        Hàm sử dụng sigmnod
- - - - Giả sử chúng ta có một tập training, trong đó các đối tượng đã được gán nhãn lớp
      - Xác định tham số k
      - Xét một đối tượng o cần phân lớp (chưa biết nhãn lớp), tính khoảng cách giữa o đến k đối tượng gần nhất trong tập train. Lớp của o sẽ được quyết định dựa vào nhãn lớp của k láng giềng gần nhất này.
  - - - Thuộc tính liên tục (Continuous Attribute)
      - Thuộc tính phân lớp (Categorial Attribute)
      - Thuộc tính thứ tự (Ordinal Attribute)
    - - GINI: Đo độ tinh khiết của node
      - Entropy: Đo độ đồng nhất của node
      - Classification Error: Đo độ phân loại sai
    - - Các record đều thuộc về cùng lớp
      - Các record được dự đoán giống nhau
      - Kết thúc sớm
  - - - Thuật toán gom cụm:
        
        Partitional clustering
        
        Hierarchical clustering
      - Một độ đo khoảng cách (similarity, or
        dissimilarity)
      - Chất lượng của gom cụm:
        
        Khoảng cách bên ngoài (Inter-clusters distance) => Lớn nhất (maximized)
        
        Khoảng cách bên trong (Intra-clusters distance) => Nhỏ nhất (minimized)
    - - K-mean
        
        Là thuật toán gom cụm theo phân hoạch
        (partitional clustering). Thuật toán k-means phân hoạch dữ liệu cho trước vào k cụm (clusters)
        
        Một cụm có một trung tâm, gọi là centroid
        
        k được xác định trước
        
        Thuật toán hoạt động như sau:
        
        Ngẫu nhiên chọn k điểm dữ liệu (seeds) để
        khởi tạo điểm trung tâm cho cụm (centroids)
        
        Gán điểm dữ liệu vào centroid gần nhất
        
        Tính toán lại centroids dựa trên các thành
        viên hiện tại của cụm
        
        Nếu điều kiện hội tụ chưa thỏa, quay lại bước 2
        
        Điều kiện dừng/hội tụ:
        
        Không (hoặc ít nhất) gán lại điểm dữ liệu vào một cụm khác
        
        Không (hoặc ít nhất) thay đổi của centroids
        
        Tổng bình phương độ lỗi là nhỏ nhất
        
        Điểm mạnh:
        
        Thuật toán gom cụm phổ biến nhất
        
        Thuật toán đơn giản, độ phức tạp tuyến tính
        
        Lưu ý: thuật toán dừng ở tối ưu cục bộ của SSE. Tối ưu toàn cục là khó tìm
        
        Điểm yếu:
        
        Thuật toán chỉ áp dụng được nếu có thể
        định nghĩa điểm trung bình
        
        Người sử dụng phải xác định k
        
        Thuật toán ‘nhạy cảm’ với các ngoại lệ
        (outliers)
      - Phân cấp (Hierachia)
      - DB SCAN
- - - - Dùng Box Plot hoặc Histogram:
        Phân tích dữ liệu một biến
      - Dùng Scatter Plot hoặc Heatmap:
        Biểu diễn sự tương quan giữa hai hay nhiều biến
  - - - Sử dụng đồ thị dạng thanh (bar)
      - Biểu diễn phân bố dữ liệu theo từng khoảng (bin)
      - Có thể xác định xấp xỉ phân bố xác suất của dữ liệu (probability distribution)
      - Có thế xác định trung tâm của dữ liệu, tính cân đối của dữ liệu: đối xứng (symmetric) hay lệch (skewness)
    - - Giá trị trung bình (Q2)
      - Phần tư đầu tiên (Q1): 1/4 dữ liệu nhỏ hơn hay bằng
      - Phần tư thứ ba (Q3): 3/4 dữ liệu nhỏ hơn hay bằng
      - Giá trị nhỏ nhất (min), giá trị lớn nhất (max)
      - Các dữ liệu bất thường (outliers)
      - IQR (interquartile range)