Please enable JavaScript.

Coggle requires JavaScript to display documents.

Phân tích dữ liệu - Coggle Diagram

- - - - Tool: Cognos analytics, Looker & Tableau (easy to use), R, Tidy verse, Power BI, Excel (macros)
    - - 4 bước:
        Khám phá -> chuyển đổi!!! -> xác thực -> xuất bản
        
        Làm sạch (chuyển đổi): miss, thừa, k chính xác, bất thường, làm giàu
        Note: join -> dòng, unions -> cột
        
        Verification:
        Kiểm ta lại data, Đảm bảo quy tắc và ràng buộc
        Note: các thay đổi cần được ghi nhận
        
        Cleaning: tùy issue
        VD: tuổi bầu < 5 -> sai, lương >1M $ -> xem xét
        
        Inspection:
        
        Detecting
        
        Validating (xác thực) <> rule & constraints
        
        Profiling
        
        Visualizing
      - Tool
        
        OpenRefine:
        
        open-source
        
        variety of formats
        
        easy use & learn
        
        GG DataPrep:
        
        Cloud data service
        
        Excel Power Query
        
        Watson Studio Refinery
        
        Trifacta Wrangler:
        
        Làm việc đồng thời
        
        Python: huge library
        
        Jupyter Notebook: OS
        
        NumPy
        
        Pandas
        
        R:
        Dplyr, data.table, Jsonlite (API)
    - - How:
        
        Truy vấn trực tiếp
        
        API
        
        Web Scraping
        
        IOT
        
        Nền tảng trao đổi data
        & store:
        
        data cấu trúc -> CSDL qhe or phi qhe
        
        bán cấu trúc/phi -> CSDL phi qhe
      - Nguồn data:
        
        Primary
        
        Secondary
        
        Third-party
    - - Data mining (khai phá)?
        Tech: classification, clustering, anomaly & outlier Detection, association rule mining (two data), sequential patterns (series of events), Affinity grouping (co-occurrence in relationship), decision trees (in-out put), regression
      - Tool?
        
        Spreadsheets
        
        R-Language
        
        PyThon: pandas
        
        IBM SPSS
        
        IBM Watson studio
        
        SAS: graphical, transfer data
      - Phân tích data?:
        Statistics:
        
        thống kê mô tả: summary infor: độ phân tán và độ lệch (mean, median, mode), phương sai, độ lệch chuẩn, range, độ xiên
        
        Thống kê suy luận: suy luận or khái quát hóa: kiểm tra giả thuyết, độ tin cậy, phân tích thời gian và hồi quy
        Tool: SAS, SPSS, Stat soft
- - - - EU: General Data Protection Regulation (GDPR)
      - Brazil: LGPD (Lei Geral de Proteção de Dados)