Please enable JavaScript.

Coggle requires JavaScript to display documents.

DFL:サーベイ論文, サーバがクライアントの学習をチューニングするような中央集権的な連合学習CFLに対して、CFLのサーバノードの単一障害点…

- - - - (1)ヘルスケア
        (2)インダストリー4.0
        (3)モバイルサービス
        (4)無人航空機
        (5)自動車
      - DFLの基本事項
        
        構造
        
        (1)参加者のタイプ　　　　　　
        　　クロスサイロ　　：クロスデバイス
        例　病院　　　　:　携帯電話
        データ量　多い　　:　少ない
        通信　安定　　　：　不安定
        ノード数　少ない　　：　多い
        
        (2)参加者の役割
        トレーナー:　パラメータや更新データの送信　更新データによる学習
        アグリゲーター:　受信した更新を集約し近隣ノードに再送
        プロキシ : 受信した更新をそのまま受け渡す
        アイドル : ローカルの更新データを送受信しない
        
        (3)分散スキーマ
        DFL:
        あるノードが動的な接続を持つノードや固定的なつながりを持つ
        ノードが独立した双方向または単方向の通信を行う
        CFL:
        単一のアグリゲータノードであるサーバが集約や解析や信頼を担う
        MPCなどで暗号化しながら安全に集約できる.
        
        SDFL:
        サーバが、クライアントの計算や電力などの性能に基づいてアグリゲータノードを選択する.アグリゲータノードは各ノードの更新データを集約し次世代モデルを生成する.　要読論文 :warning:
        
        (4)データ特性
        IIDか非IIDかの違いでアプローチも異なる.
        IID以外の判断基準もある.
        HFL:特徴が似ていてノードが異なる
        ある企業の取得する様々な人の携帯電話が取得するテキスト情報
        VFL:ノードが似ていて特徴が異なる
        病院が取得するAさんについての様々の情報
        TFL:特徴もノードも異なる
        異なる業界の企業が取得する異なる人物のデータ
        
        ネットワークトポロジー
        
        トポロジーによる連合学習システムへの影響は大きい
        主に,
        (1)完全接続ネットワーク
        (2)ノード間のリンクがわずかしかない部分接続
        (3)いくつかのネットワークを繋ぐリンクを持つノードクラスタリング
        の3つに分けられる.
        そして、トポロジーは堅牢性・柔軟性・耐障害性・通信コスト・セキュリティの重要度により評価される.
        
        (1)完全接続型ネットワーク
        通信コスト:高い
        柔軟性(スケーラビリティ):制限があり、困難である場合がある
        耐障害性:高く信頼できる
        
        (2)部分的に接続されたネットワーク
        通信コスト:1ラウンドでは低いがプロセス全体では高くなる可能性がある.基本的には低いとされる.
        耐障害性:一つのノードに障害が発生すると完全に分断される可能性がある.低い.
        多くのランダムネットワークがこれにあたるが一つ一つに焦点を当てることは避ける.
        
        1 more item...
        
        通信メカニズム
        
        ノード間の通信について,分散型通信を行う上で基本的な3つのスキーマと２つの代表的な通信方式
        (1)同期通信
        (2)非同期通信
        (3)半同期通信
        (1)P2P
        (2)ゴシップ通信
        
        欠点
        同期通信:
        遅い計算処理のクライアントを待たなければならない。
        これに対処するため,反応の早いクライアントのみを選択すると偏りが生まれ不本意
        非同期通信:
        参加ノードが常に動き続けローカルモデルの更新と更新データの送信を繰り返しアイドル時間がないため、通信は早いがコストが高くなる、またクライアントが学習し続けることで過学習が起こりやすく一般性が低下する。また非同期通信ははぐれ値(クライアントの能力)を検出しながら更新データの送受信を行う必要があるためデータの伝搬に遅延が生じる。　要理解 :warning:
        半同期通信:
        クライアントごとにある同期ポイントまでの学習エポック数が異なる。このクライアントごとのエポック数についてデバイスの計算処理やネットワーク状況に関する閾値を提示する方法がある.
        要　論文読 :warning:
        
        1 more item...
        
        セキュリティとプライバシー
        
        攻撃
        
        2 more items...
        
        主要な連合学習評価指標
        
        2 more items...
        
        アプリケーションシナリオ
        
        DFLのオープンソースフレームワーク
        
        最も成熟したフレームワーク
        
        TensorFLow
        Federated(TFF)は,最も使用されているフレームワークであるが敵対者やプライバシーメカニズムを考慮していない.
        Pysyft
        PyTorchとTensorFlowの両方でうまく動作することができる.個のフレームワークではマルチパーティ計算などのいくつかのプライバシー機構を提供している,通信はWebScket APIを使用して実行される.
        FederatedScopeやFedML
        展開されたアーキテクチャの低レベルの管理を可能にする.同期または非同期なFLライフサイクルを調整することができる.さらに,プライバシー保護,攻撃シミュレーション,自動チューニングなども含まれている.
        LEAF:
        他のフレームワークがその機能を補完するために活用できる分散データセットとパーティショニングメカニズムを提供している.
        
        初期の解決策
        
        BraintorrentやScatterbrained
        P2P通信やDFLさらにCFLのシステムを構築することができる連合フレームワーク
        使ってみないと分かりづらい :warning:
        
        課題と今後の方針
        
        現在の傾向
        
        アーキテクチャ,ネットワークトポロジ,通信メカニズムなどが盛んに研究されているが、その中でもDFLの重要な機能であるクライアント間の通信最適化技術について最も研究されている.
        また,異常検知やデータプライバシーも人気な研究課題である。
        
        学んだこと
        
        2 more items...
        
        実際にDFLが使用されているシナリオと
        それに用いらているデータセットなどを説明する
        
        ヘルスケア
        
        コロナのような国際的な健康上の緊急事態で,国内国外問わず研究機関、病院、連邦政府機関の協力が必要になって来る.そのような場合に一般データ保護規則などの規制により患者の情報を移転することはできない。このような場合DFLは機能する.
        例えば、死亡率と入院期間を予測するためのコミュニティベースのFLアルゴリズムやカルテの分析などに対応するFLが開発されている.この分野ではデータの秘匿化についてより繊細に研究されている.
        
        Industry4.0
        
        工場の機械などにAIが搭載されている場合(Industry4.0)でDFLは効果を発揮する.特にIotの影響でインターネットに接続されたセンサデバイスは膨大に増えている.そこでDFLを活用しデータをローカルに保管したまま学習するシステムは効果的である.しかし、DFLはそれらのデバイスを対象としたサイバー攻撃にさらされる.そのため、この分野では特にセキュリティとプライバシーについてより繊細に研究されている.
        
        モバイルサービス
        
        2 more items...