Flume
flume
Trazer dados de diferentes fontes em tempo real para o Hadoop
Coleta e integração de dados para análise on line
Desenvolvido pela Cloudera
Baseado em Streaming
Arquiteura simples e flexivel
Usado em aplicações analíticas on line
Dads do twitter são exemplos de streaming
Permite enviar dados diretamente para o Hadoop
Agentes
Traz de diferentes fontes
Em tempo real
Armazena dados em ambiente distribuido
Coletar
Armazenar
Movimentar
Usado também para coletar logs de servidores
Coletam e ingegram dados com Hadoop para análise on line
Agentes são instalados em:
servidores web
Servidores de aplicação
Aplicativos Mobile