Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (FERRAMENTAS (Hadoop Distributed…
Big Data: Ferramentas e Aplicabilidade
ENTENDENDO O BIG DATA
Um problema
Big Data Analytics
Origem dos dados
Web e redes sociais
Dados de transações
Dados de biometria
Dados gerados por pessoas
Dados machine to machine
Cinco Vs
Volume
Variedade
Velocidade
Veracidade
Valor
Categorias de dados
três categorias
Dados semiestruturados
Dados não estruturados
Dados estruturados
Desafio
Manipulação de dados semiestruturados e não estruturados
Uso de algoritmos
SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS
PROPRIEDADES ACID E CAP
Definem o comportamento da base de dados
Ferramenta ETL (Extração, Transformação e Carregamento)
Ferramenta OLAP (Processo analítico
Online)
FERRAMENTAS
Ambiente em nuvem
Hadoop Distributed File System (HDFS)
Necessidade de se trabalhar com arquivos grandes
YARN
Gerenciador de recursos distribuídos do cluster
MAP REDUCE
Desenvolvido para operar com grandes
volumes de dados
HADOOP
Voltada para clusters e processamento de grande volume de dados
Massively Parallel Processing (MPP)
Processar grandes quantidades de informações
HBASE
Processa grandes volumes de dados de maneira rápida
e em tempo real
SPARK
Roda até 100 vezes mais rápido que
o Map Reduce
MACHINE LEARNING
Processo de ensinamento da máquina
a “entender” dados que a princípio parecem não fazer sentido
CASOS DE USO
Saúde
no Brasil
INCOR
Empresa de transporte aéreo
Segurança publica