Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (FERRAMENTAS DO BIG DATA (HADOOP (É…
Big Data: Ferramentas e Aplicabilidade
Aumento da quantidade de dados gerados
Em 2000
25% dos dados eram digitalizados
Em 2007
93% dos dados eram digitalizados
Em 2013
98% dos dados eram digitalizados
Motivo principal
Aumento do acesso a dispositivos eletrônicos e a internet
Modelos de tratamento de dados
Big Data
ENTENDENDO O BIG DATA
Segundo Santanchè (2014)
Apesar do BIg Data ser uma solução, também é um problema por causa muita diversidade, o que pode ser resolvido com o Big Data Analytics
Veja(2013)
Objetivo de manter as plataformas e sistemas em harmonia
Cinco V's
Volume
Quantidade de dados acumulados
Variedade
Meios de propagação e tipos de dados
Velocidade
Taxa de transmissão de dos dados
Veracidade
Se os dados são confiáveis
Valor
Resultado obtido no uso das
ferramentas de Big Data
Intel (2015)
Os dados são qualificados em três categorias
Dados estruturados
Dados semiestruturados
Dados não estruturados
Utiliza algoritmos inteligentes que permitem chegar a uma conclusão sobre qual ação realizar
Rede neural do Big Data
Algoritmos preditivos
Predizem um fato com grandes chances de ocorrer
SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS
Coelho(2004)
Diferenças entre eles
Sistemas SQL
Escabilidade vertical
Melhor poder de processamento
Sistemas Big Data Analytics
Escabilidade horizontal
Possibilita processamento de grande quantidade de dados
Intel(2006)
Ferramenta OLAP (Processo analítico
Online)
PROPRIEDADES ACID E CAP
Essas estruturas definem o comportamento da base de dados
Busca-se manter as propriedades Acid
Atomicidade
Consistência
Isolamento
Durabilidade
Maior fluxo de dados
Passa a buscar as propriedades CAP
Consistência
Disponibilidade
Tolerância a partição
Ao anular as propriedade Acid os sistemas obterão as propriedades Base
Basically Avaliable
Dados serão replicados e serão sempre consistentes
Soft State
Dados inconsistentes serão tratados posteriormente
Eventually Consistent
Garante a consistência em algum momento
FERRAMENTAS DO BIG DATA
YARN
É um gerenciador de recursos distribuídos do cluster
Através do Resource Manager, realiza a locação de recursos nos nós de recursos no nós do cluster para a realização de tarefas
HDFS
Separa os arquivos em blocos e os distribuem em várias máquinas
Surge com a necessidade de trabalhar com arquivos grandes
AMBIENTES EM NUVEM
Alta elasticidade
Baixo preço de armazenamento
MAP REDUCE
Opera com grandes volumes de dados
Segue o principio da localidade em que o código é enviado para o local onde os dados estão para ser processado
HADOOP
É a ferramenta mais importante de Big Data
Através de nós de clusters usa computação distribuída com alta escalabilidade, tolerância a falhas e confiabilidade.
Plataforma do Java
Trata grande quantidades de dados sem ter a necessidade de copiar esses dados em outro servidor
MPP
Feito para processar grande quantidade de dados, porém não permite trabalhar com imagens e documentos de texto
HBASE
É um banco de dados Nosql que processa grandes volumes de dados de maneira rápida e em tempo real
MACHINE LEARNING
É uma computação cognitiva, e
biometria
Ensina a máquina a 'entender' certos dados
CASOS DE USO DO BIG DATA
SAÚDE
É possível cruzar diversas informações como dados de poluição atmosférica, sintomas, etc.
No Brasil, a INCOR faz uso do Big Data para verificar a mutação do HIV no mundo inteiro
EMPRESA DE TRANSPORTE AÉREO
Através do Big Data é possível prever de forma rápida uma revisão no avião, a necessidade de abastecimento de
SEGURANÇA PUBLICA
Grande eficiência tanto no desvendamento de crimes, captura de
criminosos, e também na prevenção de delitos
CONCLUSÃO
Existem bons resultados com o uso do Big Data, porém é necessário melhoras
Ferramentas com pouco tempo de existência
Melhorias
Interoperabilidade entre sistemas
Algoritmos mais eficientes
Mão de obra qualificada
Melhor conhecimento da área de governança das empresas