Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (FERRAMENTAS (HDFS (Name Node…
Big Data: Ferramentas e Aplicabilidade
INTRODUÇÃO
Quantidade de dados gerados pela humanidade
Aumentou
Fatores aumento de dados gerados pela humanidade
Aumento do acesso a dispositivos eletrônicos
Popularização da internet
Aplicabilidade do Big Data
Demandam alta velocidade de processamento
Buscam valor nos dados
Descoberta de padrões
Preferências de usuários
Aumento no número de vendas em
determinada época do ano
Descoberta de cura de doenças
Objetivos Artigo
Principais diferenças
Modelos tradicionais de tratamento de dados x Big Data
Ferramentas mais importantes de uso do big data
Discorrer sobre três casos de uso de sucesso que confirmam a eficiência
Impacto da tecnologia
ENTENDENDO O BIG DATA
Santanchè (2014)
Não é solução. mas um problema
Cinco VS
Volume (quantidade de dados acumulados)
Variedade (meios de
propagação e tipos de dados)
Velocidade (taxa de transmissão de dos dados)
Veracidade (se os dados são confiáveis)
Valor (resultado obtido no uso das
ferramentas de Big Data)
Qualificação dos Dados
Dados estruturados
Dados semiestruturados
Dados não estruturados
Desafio para as ferramentas de Big Data
Extrair valor dos dados semiestruturados e não estruturados
Cezar Taurion(2013)
Ferramentas de Big Data
Mesmas importância que o microscópio representou para a medicina
SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS
Diferença Modelos tradicionais (SQL) x Big Data
SQL
Escalabilidade vertical
Máquinas com tecnologias mais avançadas e mais caras
Business Intelligence
Técnica de gerenciamento de negócios orientado à análise de informações
ETL (Extração, Transformação e Carregamento)
Permitirão ações de melhoria nos processos
organizacionais
OLAP (Processo analítico
Online)
Auxilia na tomada de decisões através de cubos multidimensionais
Oferecem diferentes perspectivas sobre informações da empresa
Big Data
Escalabilidade horizontal
Computação paralela em que maquinas de nível
intermediário “commodities”
Reduz custos
Capacidade de processar grandes volumes de dados
FERRAMENTAS
AMBIENTES EM NUVEM
Grande aliada no uso de
ferramentas de big data
Preço baixo
Evita gastos desnecessários com servidores
HDFS
Trabalha com arquivos grandes
Quebra em blocos desses arquivos e os distribui em diversos nós
Replicação em
grau três como segurança
Name Node
Máquina
responsável pelo gerenciamento dos outros nós
YARN
Gerenciador de recursos distribuídos do cluster
HADOOP
Ferramenta mais importante de Big Data
Voltada para clusters e
processamento de grande volume de dados
Formado basicamente pelo
Framework Map Reduce,
Gerenciador de recursos distribuídos (YARN)
Sistema de arquivos distribuídos
(HDFS)
MPP
Processa grandes quantidades de informações
Escalável em relação a quantidade de dados
Suporta linguagem SQL e tabelas
relacionais
HBASE
Processa grandes volumes de dados de maneira rápida
e em tempo real
SPARK
Ferramenta de processamento de dados
100 vezes mais rápido que
o Map Reduce
Persistir em disco
Trabalha em memória, faz encadeamento de
funções e só apresenta o resultado no fim do processamento
MACHINE LEARNING
Transformar dados não estruturados em dados estruturados
Uso atráves de computação cognitiva e biometria