Please enable JavaScript.
Coggle requires JavaScript to display documents.
Integração e Fluxo continuo - Coggle Diagram
Integração e Fluxo continuo
Big data
Volume
Veracity
Variedade
Velocidade
Data Stream
Algoritmos de mineração não são bons em FCD
Dados podem possuir variação na sua distribuição
FCD e IOT
Aplicações
Redes
Bolsa de Valores
Mobile
Meterologia
Comercio
Setor de energia
Arquitetura de big data para FCDs
Coleta
Alta disponobinilidade e tolerancia a falhas
Coletores tem que ser capazes d trbalhar com grandes volumes de dados e já fazer um tratamento inicial caso seja necessário
Ferramentas: Flume
KAFKA
Processamento
Armazenamento
Definição dos pipleines
Visualização dos dados
Fluxo: Ingestão> Processamento> Armazenamento> Visualização
Ferramentas
Spark
Storm
Alto processamento
Spouts
Esturtura que irá de tempos em tempos buscar dados que serão enviados para a estrutura de Bolts
Pode coenctar a diversas fontes de dados
Bolts
Estrutura que irá executar alguma transformação dos dados, uma alteração ou enriquecimento
Kafka
Apacha Spark Streaming
Real Data
Trabalha de forma distriuída em microbatches
FLUME
ARMAZENAMENTO
ORIENTADO A COLUNAS
HBASE, CASSANDRA, BIG TABLE
CHAVE VALOR
REDIS
GRAFOS
NEO4J
DOCUMENTOS
MONGO DB
LAMBDA ARQUTEITURA
Sistema de Recomendação
explicito
Rating
Link deslike
Implicito