Please enable JavaScript.
Coggle requires JavaScript to display documents.
client selection in FL - Coggle Diagram
client selection in FL
main challenge
Heterogeneity
data heterogeneity
特徵分佈偏斜
標籤分佈偏斜
同標籤不同特徵
同特徵不同標籤
數量偏斜
訓練模型效率低下，performance和accuracy下降
增加偏見和不必要的資訊交流
Communication
Costs
計算能力低的client無法準時將本地模型進行更新導致收斂時間過長
client和server距離太遠導致頻寬使用增加
server要等待所有client才進行聚合導致整體訓練時間增加
Fairness
只選擇速度較快的client會剝奪其他client的參與機會
不公平的選擇會導致出現嚴重的偏差
Resource
Allocation
計算資源有限導致訓練效率低下
在HFL中出現掉隊者現象
大型模型無法在低耗能設備上執行或傳輸
method introduction
Heterogeneity
尋找同性質的client
選擇有小數據異質性的client
挑選non-IID數據程度較小的client
根據client數據的影響來動態更新選擇權重
Clustered Federated Learning為non-IID數據的最佳解法
根據數據類別對client端進行分組
標籤分佈偏斜
檢查被選中的client聚合數據分佈之間的相似性
選擇本地loss較高的client ，來改善部分client 的參與問題
Fairness
選擇局部loss較高的client
多臂吃角子老虎機
排除不誠實的client
Communication
Costs
joint client selection演算法
降低收斂時間
distributed client selection演算法
降低損耗及通訊成本
3-way分層框架
提高通信效率
選擇一部分client參加每一輪訓練，其餘client不必進行任何訓練
減少計算和通信資源
減少每輪選擇的client
降低總耗能
非同步訓練
減少掉隊者現象
Resource
Allocation
資源條件管理client的演算法
在HFL中，評估client 的學習品質
選擇最佳client
考慮和量化client數據的相對影響和資源差異等因素
選擇得分最高的client
最小化能耗和訓練延遲
鼓勵更多client參與模型更新
強化學習來選擇最佳的client子集
common metrics
test accuracy
communication round
ways to improve
Heterogeneity
在HFL中，尋找拆分client集群的最佳門檻值
提供通訊效率
Resource
Allocation
目前沒有主要研究不成功client的影響
關注client加入和離開訓練的能力
Communication
Costs
給予某種激勵機制將增加計算能力並改善資源分配問題
Fairness
目前無法量化公平性和訓練準確性之間的權衡關係