Please enable JavaScript.

Coggle requires JavaScript to display documents.

BIG DATA Parte 2 - Coggle Diagram

- - - - ◦ NameNode,
        
        Tem como responsabilidade gerenciar os arquivos armazenados no HDFS. Suas funções incluem mapear a localização, realizar a divisão dos arquivos em blocos, encaminhar os blocos aos nós escravos, obter os metadados dos arquivos e controlar a localização de suas réplicas
      - ◦ DataNode,
        
        Enquanto o NameNode gerencia os blocos de arquivos, são os DataNode que efetivamente realizam o armazenamento dos dados. Como o HDFS é um sistema de arquivos distribuído, é comum a existência de diversas instâncias do DataNode em uma aplicação Hadoop
      - ◦ SecondaryNameNode,
        
        Utilizado para auxiliar o NameNode a manter seu serviço, e ser uma alternativa de recuperação no caso de uma falha do NameNode. Sua única função é realizar pontos de checagem (checkpointing) do NameNode em intervalos predefinidos, de modo a garantir a sua recuperação e atenuar o seu tempo de reinicialização.
      - ◦ JobTracker,
        
        Sua função então é designar diferentes nós para processar as tarefas de uma aplicação e monitorá-las enquanto estiverem em execução. Um dos objetivos do monitoramento é, em caso de falha, identificar e reiniciar uma tarefa no mesmo nó ou, em caso de necessidade, em um nó diferente.
      - ◦ TaskTracker
        
        Processo responsável pela execução de tarefas MapReduce Um TaskTracker executa uma tarefa Map ou uma tarefa Reduce designada a ele. Como os TaskTracker rodam sobre máquinas virtuais, é possível criar várias máquinas virtuais em uma mesma máquina física, de forma a explorar melhor os recursos computacionais.
- - - - Inclui todas as fontes de dados necessárias para proporcionar o insight necessário para solucionar o problema de negócios. Os dados são estruturados, semi estruturados e não estruturados e são provenientes de várias fontes
    - - Responsável por adquirir dados das fontes e, se necessário, convertê-los para um formato adequado à maneira como os dados devem ser analisados.
    - - Lê os dados digeridos pela camada de tratamento e armazenamento de dados.
        Em alguns casos, a camada de análise acessa os dados diretamente na fonte.
    - - Essa camada consome a saída fornecida pela camada de análise. Os consumidores podem ser aplicativos de visualização, seres humanos, processos de negócios ou serviços
  - - - usada por vários componentes (aquisição de dados, compilação de dado, gerenciamento de modelo e interceptor de transação, por exemplo) e é responsável por conectar várias fontes de dados
    - - São necessários diretrizes e processos sólidos para monitorar, estruturar, armazenar e proteger os dados desde o momento em que entram na empresa, são processados, armazenados, analisados e removidos ou arquivados, definir política e regulamentos de conformidade para retenção e uso de dados externos; definir políticas de arquivamento e remoção de dados; criar a política sobre a maneira como os dados podem ser replicados em vários sistemas; definir políticas de criptografia de dados
    - - gerenciar os logs de sistemas, máquinas virtuais, aplicativos e outros dispositivos; correlacionar os vários logs e ajudar a investigar e monitorar a situação; monitorar alertas e notificações em tempo real; fazer referência a relatórios e análises detalhados sobre o sistema; definir e cumprir os contratos de nível de serviço; arquivar e gerenciar recuperação de arquivos; realizar recuperação de sistema, etc
    - - Responsável por definir qualidade de dados, políticas relacionadas à privacidade e segurança, frequência de dados, tamanho de busca e filtros de dados.