Please enable JavaScript.

Coggle requires JavaScript to display documents.

Big Data e Data Analytics - Coggle Diagram

- - - - os insights obtidos são utilizados para apoiar decisões e muitas vezes revelam novas questões ou necessidades. Esse retorno de conhecimento alimenta ciclos seguintes de análise: ou seja, novas perguntas de negócio podem surgir a partir das descobertas, reiniciando o processo de identificação de necessidades e refinando todo o projeto.
    - - apresentação dos resultados em formatos compreensíveis para os tomadores de decisão. Ferramentas de Business Intelligence e visualização de dados (dashboards dinâmicos, gráficos interativos, etc.) são utilizadas para extrair significado dos dados. Nesta fase, transforma-se a análise em valor para o negócio, comunicando descobertas de forma clara. (Nota: As ferramentas de visualização tradicionais enfrentam desafios de desempenho e escalabilidade diante de volumes massivos de dados, o que impulsiona o desenvolvimento de soluções específicas para Big Data.)
    - - etapa de transformar os dados brutos em insights. Envolve limpeza (garantir veracidade), integração e aplicação de técnicas analíticas. Pode incluir desde agregações simples e consultas, até algoritmos avançados de Machine Learning e Deep Learning que classificam, agrupam ou predizem comportamentos. Aqui se aplicam tanto técnicas de aprendizado supervisionado (quando há dados históricos com rótulos para treinar modelos preditivos) quanto de aprendizado não supervisionado (quando é preciso descobrir padrões sem um rótulo pré-definido).
    - - provisionamento de ambiente tecnológico para armazenar e processar os dados. A infraestrutura escolhida depende do Volume, Velocidade e Variedade dos dados identificados. São considerados requisitos como escalabilidade (para grandes volumes), throughput (para alta velocidade de chegada) e flexibilidade de esquema (para múltiplos formatos de dados). Também se avalia segurança e mecanismos de armazenamento adequado (repositório seguro, escalável e durável para os dados).
    - - captura dos dados brutos das fontes selecionadas (transações, logs, dispositivos, mídias sociais, etc.) e ingestão em uma plataforma. Uma plataforma de Big Data bem estruturada permite ingerir grande variedade de dados (estruturados, semi ou não estruturados) em altas velocidades (em tempo real ou em lote).
    - - definir os objetivos do negócio ou problemas a resolver e quais informações são necessárias. Nesta fase identifica-se também as fontes de dados relevantes (internas ou externas) que atenderão a essas necessidades.
- - - - Aprendizado Supervisionado: modelos treinados com dados de entrada e saída conhecidos (resposta conhecida). Útil para predições ou classificações futuras. Exemplos: regressão (linear ou logística), árvores de decisão, redes neurais e máquinas de vetor de suporte (SVM), que são usados para prever valores numéricos ou classes categóricas a partir de novos dados (análise preditiva).
      - Aprendizado Não Supervisionado: algoritmos que identificam padrões sem referências de saída esperada (sem rótulo prévio). Útil para explorar dados e encontrar estruturas ocultas. Exemplos: clusterização (agrupamento de instâncias similares) e análise de componentes principais (redução de dimensionalidade), frequentemente aplicados para entender conjuntos de dados complexos ou heterogêneos.
  - - - Para armazenamento e processamento distribuído de grandes volumes: sistemas como Hadoop (ecossistema de arquivos distribuídos e processamento MapReduce/Spark), bancos de dados NoSQL (MongoDB, Cassandra, etc.) para dados não estruturados, e serviços de cloud computing escaláveis.
      - Para análise de dados: linguagens e frameworks como Python/R (com bibliotecas de data science), plataformas de machine learning e deep learning (TensorFlow, Scikit-learn, etc.), além de ferramentas especializadas para streaming de dados (Kafka, Spark Streaming) quando há necessidade de velocidade.
      - Para visualização e BI: ferramentas como Tableau, Power BI, QlikView ou soluções open-source (Grafana, Kibana) permitem criar visualizações dinâmicas e interativas, facilitando a interpretação de resultados e a comunicação de insights para stakeholders.
- - - - Volume impacta a Infraestrutura (escolha de storage/compute escaláveis) e o Processamento (algoritmos precisam escalar para grandes dados).
      - Velocidade impõe requisitos em Coleta/Ingestão (capacidade de entrada em tempo real) e Processamento (análise rápida, streaming).
      - Variedade afeta Ingestão (múltiplos formatos de dados) e define abordagens na Análise (p. ex., técnicas específicas para texto, imagens, etc. conforme o tipo de dado).
      - Veracidade está relacionada à Qualidade dos Dados, influenciando etapas de Preparação (limpeza/validação) antes da análise e a confiança nos resultados.
      - Valor guia a Identificação de Necessidades (focar em dados/insights que agreguem valor) e é o objetivo final da Visualização e Interpretação (entregar insight acionável).
  - - - Dados estruturados -> podem usar bancos relacionais tradicionais e SQL para análise; técnicas de BI clássicas se aplicam.
      - Dados não estruturados -> exigem tecnologias Big Data (NoSQL, sistemas distribuídos) e métodos de análise avançados (processamento de linguagem natural para textos, visão computacional para imagens, etc.).
      - Dados semi-estruturados -> precisam de parsers ou transformação para extrair a estrutura implícita (por ex., JSON -> tabela) antes da análise.
  - - - Explorar o que está acontecendo agora -> análise descritiva.
      - Investigar por que ocorreu -> análise diagnóstica (frequentemente após uma descritiva).
      - Antecipar o que ocorrerá -> modelos preditivos (exigem dados históricos e algoritmos supervisionados).
      - Decidir o que fazer diante de uma previsão -> análise prescritiva, combinando predição com regras de decisão.
- - - - Danone (Varejo/Manufatura - Logística e Demanda): A fabricante de iogurtes empregou análise de Big Data para previsão de demanda e otimização da cadeia logística. Antes, a previsão era feita manualmente (Excel) com baixa precisão. Com uma plataforma analítica dedicada (M-Factor, adquirida pela IBM), a Danone integrou dados históricos, regionais e de mercado com informações sobre consumidores e preços para prever vendas e promoções complementares . A Danone otimizou todo o processo, desde a produção até as prateleiras, e melhorou a precisão do planejamento de demanda de 75% para 98% , reduzindo excessos de produção e faltas de produto – um claro ganho de valor em eficiência operacional.
      - Monsanto (Agronegócio - Agricultura de Precisão): A Monsanto investiu cerca de US$ 1 bi na aquisição da Climate Corp (2013) para impulsionar a agricultura digital. Sensores em campo, máquinas agrícolas e dados meteorológicos geram informações em tempo real sobre cada talhão (solo, clima, desempenho das máquinas, produtividade, etc.), centralizadas em uma plataforma. Com esse grande banco de dados, a Monsanto fornece recomendações prescritivas aos agricultores (como a melhor época de plantar, semente e adubação ideais). Sem sair do escritório, o produtor monitora via tablet a qualidade do plantio e o desempenho de cada máquina, podendo intervir antes de problemas serem detectados no campo. O Big Data, assim, eleva a produtividade e reduz riscos ao transformar dados da lavoura em decisões otimizadas.