Please enable JavaScript.

Coggle requires JavaScript to display documents.

Big Data - Coggle Diagram

- - - - Grande repositório capaz de armazenar dados estruturados, semi-estruturados e não-estruturados
        
        E tbm tem um método para organizar grandes volumes de dados de diversos formatos e de diversas fontes diferentes
      - Diferenca pro DW
        
        Armazena dados não estruturados tbm
        
        Armazenamento de dados é mais barato (pq nao trata antes)
        
        Dados são armazenados sem um prévio tratamento
        
        Volume de dados armazenados > DW
  - - - Obs: não se refere apenas aos dados, mas também às soluções tecnológicas criadas para lidar com dados em volume, variedade e velocidade significativos.
  - - - Infraestrutura própria
        
        Hardware, software e outras tecnologias proprias
      - Computação em nuvem
        
        Aplicada ao Big Data
        
        Ex: Usar a estrutura da google para utilizar tecnologias de Bigdata
- - - - Adequado a dados não estruturados e estruturados
      - Termo usado pra se referir a BD não relacionais
    - - Variado (Graficos, tabelas, documentos)
    - - Alta
        
        Diz=se que não há esquema
        
        Ou seja: dados armazenados em um BD não-relacional podem ter características, tipos, estruturas e organizações completamente diferentes até mesmo entre um mesmo conjunto de dados
  - - - Possivel criar, consultar, inserir, excluir registros em um BD relacional
      - Adequado a dados estruturados
    - - Tabelas
    - - Baixa (Esquema definido)
        
        Esquema: É a descrição dos BD(lembrar da aula de bd relacional)
        
        "Arquitetura de 3 esquemas"
        
        Ex de descrição de dado:
        
        "Na coluna de telefone, deve haver 9 digitos"
        
        Obs: Mas se um dia os tel tiverem 10 numeros, da trabalho, pq tem que mudar tudo
  - - - Obs:
        
        A proposta dos BD não-relacionais não é substituir os BD relacionais, mas serem utilizados nos casos em que é necessária uma maior flexibilidade na estrutura do BD
- - - - Varios computadores (Clusters de pcs) realizam atividades parelelas (map) para chegar a um resultado final (reduce)
        
        Se so um pc tivesse que fz tudo, demoraria muito mais
    - - Em implementações de Big Data, temos uma arquitetura baseada em dois componentes principais:
        
        Processamento paralelo
        
        Armazenamento de dados
  - - - Responsavel por combinar os resultados de cada mapeamento para chegar a um resultado agregado
    - - Baseia-se em uma combinação de chave-valor
        
        Ex:
        
        Valor: Nome da banca em si (FCC, Cespe)
        
        Chave: Banca
        
        Logo: Cada pc/cluster processa por uma banca diferente
        
        Obs:
        
        A chave e o valor são flexiveis. Podem ser numeros, letras das formas mais distintas (diferente de BD relacionais)
        
        Obs: No python, o dicionario usa essa estrutura de chave valor
  - - - É um sistema de gestão do bigdata
        
        Caracteristicas:
        
        É uma plataforma/sistema distribuída orientada a clusters e voltado para
        
        e processamento de grandes volumes de dados (MapReduce)
        
        armazenamento (HDFS)
        
        Hadoop distributed file system
        
        É responsável por todo gerenciamento do cluster, não sendo necessário configurar máquinas individualmente.
- - - - Existem dados de todos os tipos (estruturado e não estruturado)
        
        Obs:
        
        É preciso desenvolver ferramentas de análise que respondam à heterogeneidade dos dados
        
        Q405063
        
        Atenção Mas a análise dos dados comumente precisa ser precedida de uma transformação de dados não estruturados em dados estruturados
    - - Dados devem ser verdadeiros
        
        Com análises e estatísticas de grandes volumes de dados é possível verificar essa veracidade
        
        Obs:
        
        Dados desatualizados podem ser considerados inverídicos
        
        Não porque tenham sido gerados com segundas intenções, mas porque não correspondem mais à realidade e podem guiar uma empresa a decisões equivocadas
      - Q1315872
    - - Os dados são criados rapidamente
        
        Alto fluxo de entrada de dados
    - - valor agregado de todo esse trabalho desenvolvido, coleta, armazenamento e análise de todos esses da/dos tem que compensar os custos financeiros envolvidos
  - - - Velocidade
      - Volume
      - Variedade
- - - - Obs: BI vs BDA
        
        BDA
        
        Ajuda a achar perguntas e respostas para o futuro
        
        Por meio de padrões, correlações desconhecidas, tendências de mercado e preferências de consumidores
        
        BI
        
        ajuda a encontrar as respostas para as perguntas de negócios que já conhecemos
  - - - Mas normalmente, Datamining é mais aplicado a dados estruturados (DW, BD relacional..)
        
        Atenção: DW é estruturado, mas é muldidimensional
    - - Mas sistemas tradicionais podem não ter capacidade de manipular as novas fontes e contextos do Big Data.