Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (Ferramentas (HADOOP (Nós de…
Big Data: Ferramentas e Aplicabilidade
Introdução
Aumento na quantidade de dados gerados
Acesso a dispositivos eletrônicos
Popularização da internet
Big Data
Tratamento de dados
Correlação entre dados
Objetivos
Apontar diferenças entre modelos
Apresentar ferramentas mais importantes do Big Data
Discorrer de 3 casos de sucesso da tecnologia
Entendendo o Big Data
4 V´s
Mantem os sistemas em harmonia
Dados estruturados
SGBD relacional
Dados Semiestruturados
Compreendidos por máq.
Não compreendidos por pessoas
Documentos HTML, logs de sites
Dados não estruturados
Sem estrutura prévia
Sem possibilidade de agrupamento
Desafio
Manipulação de dados semiestruturados e não estruturados
Extrair valores desses dados através de correlação...
Tratamento de Dados
Apoio de algoritmos inteligentes
Algoritmos de sistemas preditivos
Não existe melhor ferramenta e sim a que se adéqua melhor
Sistemas Tradicionais x Sistemas de Big Data Analytics
SQL
Escalabilidade Vertical
Tecnologias mais avançadas, máquinas mais caras
Business Intelligence
Ferramenta ETL
OLAP
Modelos de Big Data
Escalabilidade Horizontal
NOSQL
Trabalham em sistemas instáveis
Dados semiestruturados e não estruturados
Replicação de dados em clusters, processamento e visualização
Modelos relacionais
ACID
Modelos Não relacionais
CAP
Availability
Não é possível
Consistency
Partition Tolerance
Ferramentas
Ambientes em Nuvem
Redução no preço de armazenamento
Oferece elasticidade
Facilidade de acesso
Pagamento por hora
Cobrança somente de inf. necessitada da org.
HDFS
Trabalha com arquivos grandes
Quebra em blocos e distribui em nós
Replicação em grau 3
YARN
Alocação de recursos nos nós
MAP REDUCE
Opera grande número de dados
Princípio da localidade
HADOOP
Nós de clusters
Computação distribuída com alta escalabilidade
Voltada para clusters e grande volume de dados
Tratamento de dados sem necessitar de cópias
Não depende de servidor
Tratamento em tempo real
Mantém a redundância para a prevenção de falhas
MPP
Grande quant. de inf.
Escalável em relação a quant. de dados
Suporta linguagem SQL
Paradigma de estrutura rígida
Não trabalha com imagens e documentos de texto
Trabalha com o Data Warehouse
HBASE
Processamento rápido e em tempo real
Organização em linhas, tabelas, colunas, e famílias de colunas
Dados não alterados, apenas somados
SPARK
Execução de códigos em paralelo
Se difere do MAP REDUCE por persistir em disco
Trabalha em memória, faz encadeamento de funções...
MACHINE LEARNING
Processamento de dados independentes p/ extrair valor
Dados não estruturados em dados estruturados
Reconhecimento de perfis (biometria, kinect...)
Casos de Uso
SAÚDE
EMPRESA DE TRANSPORTE AÉREO
SEGURANÇA PÚBLICA