Please enable JavaScript.

Coggle requires JavaScript to display documents.

DB Sharding - Coggle Diagram

- - - - 需要驗證(from gpt)
        
        INSERT INTO user_data_0 (userid, site, data)
        SELECT userid, site, data
        FROM user_data
        WHERE MOD(CONV(LEFT(MD5(userid), 8), 16, 10), 2) = 0;
  - - - 目前2200萬user 分16個sharding table 一個table125萬
        
        目前每天增長2-3萬 account 一年約為 1100萬
        每個TABLE每年約增長70萬
        約十年後才需擴展
- - - - 如何跟一般DBPool Enum結合使用
    - - BO會進行ROLL BACK或 COMMIT動作
      - 不管SHARDING還是非SHARDING 都須雙寫
        避免切回去有問題切回來後就沒資料
        
        flag
        切原本做法 (雙寫)
        切為sharding (雙寫)
        穩定後只有shading (單寫)
    - - batch update account balance 是否要採取XA事務
        一個BATCH有問題是否要全部回滾
        或著採用先分類好sharding table GROUP然後 BY SARDING TABLE去UPDATE
        ( ShardingSphere 分布式事务，为用户屏蔽了分布式事务处理的复杂性，提供了灵活多样的分布式事务解决方案，用户可以根据自己的业务场景在 LOCAL，XA，BASE 三种模式中，选择适合自己的分布式事务解决方案。)
- - - - 需記錄非同步寫入的資料避免server損壞導致數據不一致
        
        DoubleWriteConnection
        
        wrapper for Connection
        
        DBPool Main 跟 sharding pool使用
        
        BO跟DAO (insert / update )改用此connection
        
        DBUtils , DBQueryRunner需要支援該Connection
        
        經由加工發覺commit 跟 close 來觸發雙寫動作
        
        dr conn 會先記錄行為( reflection 反射 method )
        
        async 執行double write
        7.1 有個狀態紀錄目前是否COMMIT and CLOSE
        7.2 等到原本的commit之後觸發另一個async去執行commit c或者異步執行完去檢查原本的那個conn狀態在進行commit
        7.3 DobleWriteManager儲存該更新結果以便讓異步執行完檢查結果
- - - - 擴展新的分片時全部資料需要重新sharding分配
        
        依初始資料的邏輯進行
        
        根據各sharding table 備份先寫進一份，如果寫進一樣DB會有性能影響
        
        雙寫功能會變成寫擴充前的table 跟擴充後的table
    - - 避免依次寫入全部account耗費大量時間，先拿某天的ACCOUNT備份拿來先用sharding規則寫人
        
        在轉換那天停機使用update date( 比對上次寫入的最後update date )的規則抓出更新的ACCOUNT 寫入減少時間的消耗
        
        開機後執行雙寫動作，檢查sharding的table資料完整性，正確性
        
        server開始循序轉換回sharding table
        
        穩定後切換至sharding table
    - - 以OP03( upgrade server )新增一功能- sharding data migration來轉移資料
        
        多執行序及批次寫入
        
        TABLE紀錄更新情況
        
        驗證程式 : 筆數，隨機抽取一百筆account 看balance是否正確，欄位格式如 update date
        
        ( OPT )彈性，不只限於ACCOUNT，設計為MODULE PLUGIN，拆分進度紀錄，拆分更新邏輯，驗證邏輯，更新TABLE邏輯等模塊
        
        可行的拆分方式
        6-1 (OPT) 有問題中斷時則用資料的updatedate作為最後資料獲取的依據(但就必須排序資料)
        6-2 建立TEMP TABLE，先以SITE為GROUP 在排序UPDATE DATE(需觀察執行速度情況)