Please enable JavaScript.

Coggle requires JavaScript to display documents.

scheduling問題閱讀重點 - Coggle Diagram

- - - - Real-Worlld Trace Analysis
        
        jobs大多以Data-parallel framework處理
        
        task runtime of short-term < task runtime of long-term
        
        問題徵點
        
        問題需求並行
        
        short-term
        
        QoS壓力
        
        Delay sensitve
        
        long-term
        
        擔任Resource Utiliztion要角
        
        資源使用率占比
        
        短期job量>長期job量下
        
        長期job占比高
        
        解法現象顯示
        
        短期job preemption與長期job reservation
        
        Google trace
        
        被preemption大多為long-term
        
        使重要資源浪費
      - Overhead of Kill-Based Preemption
        
        YARN架構host
        
        MapReduce
        
        Spark
    - - Resource Efficiency Critical :arrow_upper_right:
        
        因素
        
        data-intensive應用 :arrow_upper_right:
        
        任務時間
        
        正比 :arrow_upper_right:
        
        所需資源
        
        1 more item...
        
        時間敏感度
        
        反比 :arrow_lower_right:
        
        應用多為Datacentor規模計算
        
        視為WSC環境
        
        視為多元異質環境QoS要求
        
        排程
        
        排程特性
        
        集中式排程困境
        
        全觀
        
        在高乘載下還把delay-bound疊加於短期
        
        分散式排程
        
        局部
        
        部分資訊
        
        敏捷排程
        
        不負荷locality下的高乘載
        
        混和式排程
        
        stage
        
        在cluster未保留區使用集中式排程long-term jobs
        
        分散式運算
        
        各節點
        
        保留一定cluster比例給short-term jobs
        
        確保Low latency&High Cluster Utilization
        
        preemptive代價
        
        Killed-based task preemption
        
        restart task並非有效利用資源
        
        使long-term job :arrow_upper_right::arrow_upper_right::arrow_upper_right:
        
        long-term progress遺失
        
        scheduler提供有效preemption事項
        
        short-term job需求
        
        Low latency
        
        2 more items...
        
        最小化現有Cluster管理改變
        
        避免影響現有資料分析工作
        
        錯誤容忍
        
        資料平等分享
        
        long-term job需求
        
        preemption導致的penalty應最小化
        
        在多元工作流下達到高校
        
        framework preemption提供
        
        BIG-C
        
        CPU&Memory allocation
        
        preemption
        
        2 more items...
      - 實驗環境架設
        
        heterogeneous workload
        
        queries
        
        TPC-H
        
        測多元資料流下的效能
        
        平行
        
        batch
        
        HiBench
        
        big data set
        
        Hadoop
        
        Spark
        
        streaming workload
        
        TeraSort
        
        k-means
        
        framework
        
        BIG-C
        
        25-node cluster
        
        Apache YARN
        
        目的:爭奪差異比較
        
        結論
        
        以FIFO最為基礎:ratio
        
        long-term penalty比Kill-based更低的代價比
        
        BIG-C
        
        接近Killed-based的short-term Low latency
        
        提供Cluster Utilization :arrow_upper_right:
        
        Full preemption in heterogeneous workload
        
        MapReduce :arrow_upper_right:
        
        loosely-coupled task
        
        1 more item...
        
        tasks擁有專用容器
        
        1 more item...
        
        Spark :arrow_lower_right:
        
        multu-thread/task-executor in task-executor/container
        
        1 more item...
        
        高頻跨同步問題
        
        2 more items...
        
        memory swapping成因
        
        2 more items...
        
        改善方案 :level_slider:
        
        1 more item...
        
        實驗參與對象
        
        未爭奪
        
        FIFO
        
        爭奪
        
        Kill-based
        
        hybird with reserve