Please enable JavaScript.
Coggle requires JavaScript to display documents.
人工智慧架構 - Coggle Diagram
人工智慧架構
資料處理與分析(Data Processing and Analysis)
Data Collection
結構類型
結構化數據
結構固定
行列形式儲存
半結構化數據
格式靈活
e.g. json / csv
文件形式儲存
非結構化數據
無固定結構
檔案形式儲存
e.g. 圖片 / 音訊 / 文章
搜集方法
網路爬蟲
API調用公開數據
購買數據
Data Transformation
目的:轉成適合分析之格式
格式轉換
e.g. csv to json
類型轉換
e.g. 字串to數值
正規化 / 標準化
消除不同單位之影響
離散化
e.g. 將年齡分為青年中年老人
數據縮減
減少數據的維度或體積,從而提高分
析效率並節省儲存空間
Data Cleaning
離群值(Outlier Value)處理
定義:數據集中明顯偏離其他數據點的異常值
可能是有意義的正常數據 也可能是錯誤
錯誤值(Error/Invalid Value)處理
檢測並修正
重複值(Duplicate Value)處理
1.識別重複值
2.刪除重複值
遺缺值(Missing Value)處理
刪除相關紀錄
填補
預測填補
插補法(Interpolation)
統計方法
目的:確保完整性&可靠性
Data Analysis
敘述性分析 Descriptive Analysis
探索性分析 Exploratory Analysis
散佈圖矩陣 Scatter Plot Matrix
一次把很多變數兩兩比較
熱圖 Heatmap
用顏色深淺標示哪裡比較重要/關係比較強
平行坐標圖 Parallel Coordinates Plot
一條線代表一筆資料,看它在多個指標上的表現
箱型圖 Box Plot
快速看一群數字的集中程度、分散程度和離群值
相關性分析 Correlation Analysis
兩個東西是否相關
聚類分析 Clustering Analysis
分群
主成分分析 PCA
把多個變數濃縮成少數幾個最重要的方向
非監督式
異常檢測 Anomaly Detection
診斷性分析 Diagnostic Analysis
探究特定現象的原因
通常基於敘述性分析的結果
鑽取/向下分析 Drill-down Analysis
從宏觀數據逐層深入到細節層級,逐步鎖定問題範圍
關聯分析 Association Analysis
因果分析 Causal Analysis
透過統計與實驗方法分析變量之間的因果關係
預測性分析 Predictive Analysi
迴歸模型 Regression Models
用於數值型結果的預測
分類模型 Classification Models)
用於將數據分為不同類別
時間序列模型 Time Series Models
捕捉趨勢、季節性與周期性模式
用於分析時間相關數據
集成學習方法 Ensemble Methods
結合多個模型提高預測準確性
目的:從處理後的數據中提取有
用資訊與洞察
機器學習(ML)
監督式學習
非監督式學習
半監督式學習
強化學習
演算法(Algorithm)
網路資訊檢索、資料庫管理與各類數據處理
線性迴歸 (Linear Regression)
預測連續數值型的輸出變數
僅能捕捉線性關係
簡單易懂、計算效率高
e.g. 預測股票價格
邏輯迴歸(Logistic Regression)
分類演算法
簡單易懂、計算效率高、輸出結果具有機率意義
僅適用二分問題(yes or no)
Sigmoid 函數輸出機率值(0%~100%)
K-最近鄰演算法(K-Nearest Neighbors, KNN)
根據輸入與K個樣本的距離來分類或預測
K值太小➡️過擬合
K值太大➡️欠擬合
K值需為奇數避免平票
需先標準化、無法用於高維
互動講解網站
不先建模、預測才計算
搜尋與排序
線性搜尋(Linear Search / Sequential Search)
照順序一個一個比較
二分搜尋(Binary Search)
與中間值比大小 逐步縮小範圍
深度優先搜尋 (Depth-First Search, DFS)
沿樹狀結構的單一路徑搜尋
廣度優先搜尋(Breadth-First Search, BFS)
由樹狀結構起點同時往外擴散搜尋
為 AI 的邏輯基石,用於解決問題及提供決策支援
深度學習(DL)
自然語言處理NLP
電腦視覺CV
神經網路 層次多