Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (Ferramentas (MAP REDUCE (analítico…
Big Data: Ferramentas e Aplicabilidade
Objetivos
Big data
pontos relevantes
ferramentas
soluções bem sucedidas
soluções
comparação literária
fonte
livros
artigos
vídeos
revistas
Tradicionais x Big Data
Propriedades ACID E CAP
base de dados
Basically Avaliable
replicados
consistentes
Eventually Consistent
consistência em algum momento
Soft State
inconsistentes
Atomicidade
Consistência
Isolamento
Durabilidade
consistência
avaliação
partição tolerância
Ferramentas
Em nuvem (Cloud Computing)
configurações
visitas ao sistema
desempenho
processamento de dados
HDFS (Sistema de arquivos distribuídos)
Name Node (máquina principal)
central
envia informações (Heartbeats)
quebra de arquivos (máquinas/nós)
YARN
gerenciador recursos
cluster (nós)
locação de recursos
aplicação de tarefas (nós)
processamento códigos
MAP REDUCE
analítico (Hadoop)
localidade código
mapeia atividades
duplica ambientes
grande volume de dados
Split
separação de dados (partições)
Map (dados reunidos)
Shuffle (dados reunidos e organizados)
Reduce (dados associados e correlacionados)
HADOOP
+importante
formada
HDFS
Map Reduce
YARN
Java
voltada
clusters
processamento de grande volume de dados
principal
processa um grande volume de dados
sem precisar de outro servidor
gera dados em tempo real
simplifica o processo
em casa de falha
haverá dispositivo p/ manter o sistema
MPP
processamento massivo paralelo
processar grandes quantidades de informações
escalável
quantidade de dados
suporta linguagem SQL
tabelas
estrutura rígida
não trabalha imagens/ doc de texto
HBASE
banco de dados (Nosql)
grande volume de dados (rapidamente/tempo real)
organização
linhas
colunas
tabelas
famílias de colunas
SPARK
100x mais rápido Map Reduce
executa códigos paralelos
memória
MACHINE LEARNING
"entende" os dados
transforma dados
computação cognitiva/ biometria
kinect
Casos de uso
saúde
cruzamento de dados
chegar diagnóstico
poluição
mutação de um vírus
criar ou atualizar as vacinas
empresa transporte aéreo
economizar
prever situações
revisão do avião
abastecimento
segurança pública
desvendar crimes
prisão de criminosos
prevenção de delitos
identifica lugares suscetíveis