Please enable JavaScript.
Coggle requires JavaScript to display documents.
Big Data: Ferramentas e Aplicabilidade (Quantidade de dados gerados…
Big Data: Ferramentas e Aplicabilidade
Quantidade de dados gerados
Aumentou de forma exponencial
Devido ao
Aumento do acesso a dispositivos eletrônicos
Popularização da internet
Aplicabilidade do Big Data
Tratamento do volume de dados
Variadas fontes
Alta velocidade de processamento
Artigo tem por objetivos
Ferramentas mais importantes de uso do big data
Diferenças entre os modelos tradicionais de tratamento de dados
Modelos de Big Data
Origem dos dados
Web
Redes Sociais
Dados de transações
Dados gerados por pessoas
Dados de biometria
Dados machine to machine
Cinco VS
Volume
Variedade
Velocidade
Veracidade
Valor
Dados qualificados em 3 categorias
Dados semiestruturados
Dados Não Estruturados
Dados estruturados
Sistemas Tradicionais X Sistemas de Big Datas Analytics
Diferença do
Processamento de dados de modelos tradicionais (SQL)
Escalabilidade vertical
Investe-se em máquinas
Melhor poder de processamento
Modelos de Big Data Analytics
Escalabilidade horizontal
Computação paralela
Maquinas de nível intermediário “commodities”
Business Intelligence
Técnica de gerenciamento de negócios
Análise de informações
Ferramenta ETL
Carregamento
Transformação
Extração
Coleta de dados de todos os tipos e formatos
Ferramenta OLAP
Análise de informações
Tomada de decisões
Diferentes perspectivas sobre informações
Regiões e períodos
Cubos multidimensionais
Ferramentas NOSQL
Bancos de dados não relacionais
Trabalhar em sistemas instáveis
Processamento Complexo
Maior quantidade de dados
Propriedades ACID e CAP
Modelos relacionais
Propriedades Acid
Consistência
Isolamento
Atomicidade
Durabilidade
Modelos não relacionais
Fluxo de dados maior
Propriedades Cap
Availability
Partition Tolerance
Consistency
Ao anular as propriedades Acid
Sistemas obterão as propriedades Base
Soft State
Eventually Consistent
Basically Avaliable:
Ambientes em Nuvem
Computação em nuvens
(Cloud Computing)
Aliada no uso de ferramentas de big data
Pagamento por hora
Cobram pela quantidade de informação necessitada
Tipos:
YARN
Gerenciador de recursos distribuídos do cluster
Através do Resource Manager
MAP REDUCE
Sistema analítico do Hadoop
Opera com grandes volumes de dados
HADOOP
Ferramenta mais importante de Big Data
Computação distribuída com alta escalabilidade
Tolerância a falhas e confiabilidade
Ideia principal
Tratar essa grande quantidades de dados
Sem necessidade de copiar esses dados em outro servidor
HDFS
Hadoop Distributed File System
Quebra em blocos desses arquivos
Distribui em diversos nós (máquinas)
Name Node
Máquina responsável pelo gerenciamento dos outros nós
MPP
Massively Parallel Processing
Processamento massivo paralelo
Suporta linguagem SQL e tabelas relacionais
HBASE
Processa grandes volumes de dados
Tempo real
Banco de dados Nosql
Conceito chave – valor
SPARK
Ferramenta de processamento de dados
Roda até 100x mais rapido que o MAP REDUCE
Atua em diferentes tipos de processamento
Persistir em disco
Trabalha em memória
Faz encadeamento de funções
Só apresenta o resultado no fim do processamento
MACHINE LEARNING
Processo de ensinamento da maquina
Usado em
Posts
Redes Sociais
Tuits
LARISSA INDIARA FERREIRA BERNARDO 21521EPR032