Please enable JavaScript.

Coggle requires JavaScript to display documents.

Engenharia de Dados & MLOps, ⚠️Alerta de Pegadinha FGV: Frente ao…

- - - - Mantém duas infraestruturas idênticas em paralelo (Ambiente Antigo vs Ambiente Atualizado)
      - Desvio/Roteamento gradual de tráfego
      - Permite rollback (retorno automático) instantâneo se o novo modelo falhar
- - - - Movimentação/embaralhamento de dados entre os nós do cluster via rede
    - - Operações que exigem reunir dados de mesma chave em um único nó
    - - groupByKey()
        
        comportamento
        
        Move TODOS os dados brutos pela rede antes de agrupar
        
        impacto
        
        Lentidão extrema, estouro de memória
        
        Otimização (Substitutos de Ouro)
        
        reduceByKey() ou aggregateByKey()
        
        Agrupa e reduz os dados localmente antes de enviar pela rede (diminui o shuffle)
        
        broadcast
        
        Envia variáveis globais pequenas para evitar junções complexas
    - - map()
      - filter()
      - flatMap()