Please enable JavaScript.

Coggle requires JavaScript to display documents.

PHÂN TÍCH DỮ LIỆU ỨNG DỤNG (APPLIED DATA ANALYTICS), HỌC CÓ GIÁM SÁT …

- - - - Đề xuất giả thuyết về nguyên nhân của hiện tượng quan sát được.
      - Thử nghiệm các giả thiết dựa trên suy dẫn thống kê.
      - Hỗ trợ chọn công cụ thống kê và các kỹ thuật.
      - Cung cấp cơ sở cho việc thu thập thêm dữ liệu thông qua khảo sát hay thực nghiệm.
    - - EDA là các tiếp cận/triết lý cho phân tích dữ liệu sử dụng các kỹ thuật khác nhau để phát hiện các thông tin ẩn trong tập dữ liệu.
- - - - Kiểm tra dữ liệu thiếu (isnull(), notnull())
      - Xóa dữ liệu thiếu (dropna())
      - Thay bằng giá trị khác -> thường là mean (fillna())
    - - Xác định các cột: dùng boxplot, histogram
      - Xác định các cặp: dùng scatter
      - Xử lý
        
        Xác định loại ngoại lệ: lỗi hay gây chú ý?
        
        Do lỗi: xóa hoặc thay thế
  - - - Đồ thị dạng thanh (bar)
      - Biểu diễn phân bố của dữ liệu theo từng khoảng
      - Có thể xấp xỉ phân bố xác suất dữ liệu (probability distribution)
      - Xác định tính trung tâm của data, tính cân đối của data (đối xứng (symetric) hay lệch (skewness))
    - - Biểu diễn phân bố dữ liệu
        
        Giá trị trung tâm (median - Q2)
        
        1/4 dữ liệu <= (Q1)
        
        3/4 dữ liệu <= (Q3)
        
        Min
        
        Max
        
        Outliers
        
        IQR (dữ liệu từ 25-75%)
    - - Dữ liệu phân bố theo xấp xỉ phân bố nào?
      - Tính đối xứng của dữ liệu quanh dữ liệu trung bình
- - - - One-way Anova
        
        Phân tích phương sai 1 yếu tố
        
        Kiểm định giả thuyết trung bình bằng nhau của các nhóm mẫu với khả năng sai phạm là 5%
      - Two-way Anova
        
        Phân tích phương sai nhiều hơn 1 yếu tố
      - Kiểm chứng giá trị trung bình của 3 biến trở lên
      - Python
        
        scipy.stats.f_oneway
    - - sử dụng để xác định xem hai giá trị trung bình tổng thể có khác nhau hay không khi biết các phương sai và kích thước mẫu lớn.
      - Phân loại
        
        One sample Z test: Kiểm định giá trị trung bình của 1 tổng thể
        
        Two sample Z test: kiểm định giá trị trung bình của 2 tổng thể
      - Là phân phối chuẩn và các tham số như độ lệch chuẩn phải được biết trước
      - Giá trị thống kê z, hay z-score (điểm z) là một con số biểu thị có bao nhiêu độ lệch chuẩn ở trên hoặc dưới trung bình tổng thể
    - - 1-sample T-Test: Trung bình của nhóm khác với giá trị giả thuyết
      - 2-sample T-Test: Trung bình của hai nhóm là khác nhau
      - paired T-Test: Cặp trung bình của hai tính chất của cùng đối tượng là khác nhau
    - - Sử dụng cho dữ liệu phân lớp
      - Kiểm chứng sự liên quan giữa 2 biến phân loại
- - - - Một số kỹ thuật tránh Overfitting
        
        Elastic-net
        
        Trường hợp tổ hợp của Lass Regression và Ridge Regression
        
        Lasso Regression
        
        Thành phần hiệu chuẩn ở dạng norm chuẩn bậc 1
        
        Thành phần hiệu chuẩn được thêm vào hàm mất mát (loss function)
        
        Là mô hình hồi qui áp dụng kỹ thuật hiệu chuẩn (regularization) để tránh overfitting.
        
        Rigde Regression
        
        Thành phần hiệu chuẩn được thêm vào hàm mất mát (loss function) ở dạng norm chuẩn bậc 2
        
        Tương tự như Lasso Regression, là mô hình hồi qui áp dụng kỹ thuật hiệu chuẩn (regularization) để tránh overfitting.
      - Cách tránh
        
        Chọn mẫu ngẫu nhiên và có kích thước lớn
      - Cách phát hiện
        
        Cross Validation
        (Đánh giá chéo)
        
        Phương pháp K-Fold Cross Validation:
        
        Chia tập dữ liệu thành k phần, sử dụng k-1 phần làm dữ liệu học và 1 phần làm dữ liệu kiểm tra.
        
        Lặp lại k lần chạy mô hình với các dữ liệu test và train khác nhau, tính giá trị trung bình của độ đo mô hình.
        
        Sử dụng predicted R-squared: nếu R2 khác quá xa predicted R2 thì có dấu hiệu của overfitting
      - Sơ lược
        
        Khi mô hình "quá khớp" với dữ liệu học nhưng không áp dụng tốt cho các dữ liệu khác. Nói theo ngôn ngữ thống kê là mô hình mô tả sai sót ngẫu nhiên của dữ liệu hơn là mô tả các mối quan hệ của các biến.
  - - - Gồm 1 biến độc lập (independent) và 1 biến phụ thuộc (dependent)
      - PTHQ: y = ax + b + e (e: sai số của hồi quy)
  - - - Dự báo giá trị biến phụ thuộc dựa vào giá trị của biến độc lập
    - - Phân tích vai trò của các biến trong mô hình
  - - - R2, Adjusted R2,Predict R2
      - P-value
      - Mallows’ Cp: Tiêu chuẩn Cp của Mallow, một mô hình tốt sẽ có giá trị MSE (Mean Square Error) của biến dự báo (biến phụ thuộc) càng nhỏ
- - - - Tổng hợp hiệu quả của mô hình dựa từ các số liệu đánh giá
      - K-Fold CV là nơi một tập dữ liệu nhất định được chia thành K số phần, trong đó mỗi phần được sử dụng như một tập test tại một lần chạy đánh giá mô hình, các phần còn lại là dữ liệu training. Thực hiện mô hình lặp đi lặp lại cho đến khi tập test là phần dữ liệu cuối cùng.
      - Ví dụ: K = 5. Tập dữ liệu được chia thành 5 phần. Trong lần lặp đầu tiên, phần 1 được sử dụng để kiểm tra mô hình và phần còn lại được sử dụng để huấn luyện mô hình. Trong lần lặp thứ hai, phần thứ 2 được sử dụng làm bộ test trong khi phần còn lại dùng làm bộ huấn luyện. Quá trình này được lặp lại cho đến khi mỗi nếp gấp trong số 5 nếp gấp đã được sử dụng làm bộ thử nghiệm.
    - - Accuracy
        
        Tỷ lệ dữ liệu được dự đoán chính xác trên tổng dữ liệu dự đoán:
        Accurate=(TP+TN)/(TP+TN+FP+FN)
      - Precision
        
        Tỷ lệ dữ liệu thực tế đúng mà được dự đoán đúng trên tổng dữ liệu máy đoán là đúng
        Precision=(TP)/(TP+FP)
      - Recall
        
        Tỷ lệ dữ liệu thực tế là đúng mà được đự đoán đúng trên tổng dữ liệu thực tế là đúng
        Recall=(TP)/(TP+FN)
      - F-score
        
        F1-score=(2PrecisionRecall)/
        (Precision+Recall)
    - - TP( true positive): Dữ liệu đúng và máy học dự đoán đúng
      - FP( false positive): Dữ liệu sai mà máy học dự đoán đúng
      - FN (false negative): Thực tế là sai mà máy đoán đúng
      - TN (true negative): Thực tế là sai mà máy cũng đoán là sai
  - - - Có một tập dữ liệu học cho trước
      - Phân loại (classification)
      - Dự đoán (prediction)
    - - Không có tập dữ liệu học cho trước
      - Phân nhóm (clustering)
- - - - KNeighborsClassifier
- - - - Các công cụ
        
        Kiếm chứng giả thuyết
        
        Hồi quy
      - Các khái niệm
        
        Thống kê suy dẫn (Inferential Statistics): Quá trình suy dẫn ra các tham số của một tập nghiên cứu từ các chỉ số thống kê của một mẫu.
        
        Khoảng tin cậy (Confidence Interval): Là khoảng giá trị mà giá trị thực của tham số sẽ rơi vào với một độ tin cậy cho trước
        
        Độ tin cậy (Confidence level): Là mức độ tin cậy của khoảng tin cậy
        
        Đính lý giới hạn trung tâm: Với N đủ lớn, thì trung bình của của các điểm trung bình của các sample sẽ hội tụ đến trung bình của population.
        
        Độ lệch chuẩn : Đo độ lỗi giữa ước lượng và giá trị thực
        
        P-value: là chỉ số đo độ mạnh của việc chấp nhận giả thuyết rỗng
    - - Khái niệm
        
        Mô tả “tính chất” của dữ liệu thông qua
        một số độ đo (measures) thống kê
      - Các độ đo thống kê
        
        Độ đo trung tâm
        ( Central tendency)
        
        Mean: Trung bình của mẫu
        
        Median: Giá trị ở giữa của mẫu
        
        Mode: Giá trị có tần suất xuất hiện nhiều nhất
        
        Độ đo về độ biến động
        
        Range: Khoảng phân bố của dữ liệu
        
        Tính toán: Giá trị lớn nhất- giá trị nhỏ nhất
        
        IQR:
        
        Chia dữ liệu thành 3 khoảng, chia bởi các điểm Q1, Q2, Q3 ứng với 25%, 50%, 75% là phần trăm số giá trị nhỏ hơn nó.
        
        IQR là khoảng Q1-Q3
        
        Độ lệch chuẩn: Tính trải rộng của dữ liệu. Độ lệch càng nhỏ, dữ liệu càng tập trung quanh điểm trung bình
        
        Tính đối xứng: Dữ liệu đối xứng qua điểm trung bình. Giúp so sánh phân phối của dữ liệu với phân phối chuẩn
        
        Sự tương quan Corelation
        
        Là sự liên quan giữa 2 biến, một biến tăng giảm ảnh hưởng như thế nào đến biến kia
        
        Hệ số tương quan (correlation coeficient)
        
        P=0: Không có liên quan
        
        0< P< 1: Liên quan và đồng biến
        
        -1< P<0: liên quan và nghịch biến
  - - - Dữ liệu số
        
        Rời rạc
        
        Số người trong 1 gia đình, số công nhân trong nhà máy,...
        
        Liên tục
        
        Chiều cao, cân nặng,...
      - Dữ liệu phân lớp
        
        Phân loại học sinh: Giỏi, khá, trung bình
      - Dữ liệu thứ tự
        
        Xếp hạng học sinh: hạng 1, hạng 2,...
- - - - n dữ liệu (sample)
      - mỗi dữ liệu có d thuộc tính (feature)
    - - Lấy ngẫu nhiên n dữ liệu từ bộ dữ liệu với kĩ thuật Bootstrapping, hay còn gọi là random sampling with replacement.
      - Sau khi sample được n dữ liệu từ bước 1 thì mình chọn ngẫu nhiên ở k thuộc tính
      - Dùng thuật toán Decision Tree để xây dựng cây quyết định với bộ dữ liệu ở bước 2.
      - Tiếp tục quay lại bước 1 để tạo cây quyết định khác, cho đến khi tạo đủ số lương cây quyết định cần xây
    - - Dự đoán dữ liệu đầu vào bằng các cây quyết định
      - Tổng hợp kết quả từ các cây quyết định để đưa ra kết quả cuối cùng
    - - số lượng cây quyết định sẽ xây dựng
      - số lượng thuộc tính dùng để xây dựng cây
      - Số lượng mẫu n tối thiểu để xây cây
      - Số cấp tối đa của 1 cây
- - - - Thuộc tính xét điều kiện tách
        
        Loại thuộc tính
        
        Số nhánh tách
      - Cách tách tốt nhất
        
        Độ đo đa dạng thấp, phân bố lớp đồng nhất
        
        Độ đo Gini Index
        
        Độ đo Entropy
        
        Độ đo Misclassification error
    - - Dừng tách node khi tất cả các mẫu tin
        đều thuộc về cùng lớp
      - Dừng tách một node khi tất cả các mẫu
        tin có cùng giá trị của thuộc tính
      - Kết thúc sớm (Early termination)
- - - - Sử dụng cho dữ liệu rời rạc
      - Hoạt động trên dữ liệu được phân phối theo các phân phối bernoulli đa biến
      - Các vector feature chỉ chấp nhận giá trị nhị phân (0 hoặc 1, đúng hoặc sai,...)
    - - Classification phổ biến nhất để phân loại dữ liệu văn bản
      - Input: tần suất xuất hiện của 1 từ trong văn bản
- - - - Tính theo tổng bình bường khoảng cách mỗi điểm của từng cụm đến centroid của cụm đó