Please enable JavaScript.
Coggle requires JavaScript to display documents.
Tópicos de Big Data em Python, T1M1, T2M1, T1M2, T1M3, T1M4, T3M1, T4M1,…
Tópicos de Big Data em Python
T1M1
Introdução e Aplicações ao Big Data
Introdução e Contextualização
Arquitetura Básica de Big Data
Data Sources
Data Storage
Batch Processing
Message Ingestion
Stream Processing
Analytical Data Store
Analysing and Reporting
KPI (
Indicador-Chave de Desempenho
)
Estratégicos
Táticos
Operacionais
Os 5 Vs do Big Data
Volume de Dados
Velocidade
Variedade
Veracidade
Valor
Aplicações de Big Data
T2M1
Arquitetura do Hadoop
Introdução e Contextualização
Principais Componentes
MapReduce
Fase de Mapeamento
Fase de Redução
HDFS
NameNode
Metadados
DataNode
YARN
Agendamento de Tarefas
Gerenciamento de Recursos (
ResourceManager
)
Utilitários Comuns do Hadoop
Vantagens e Desvantagens do Hadoop
Exemplo de MapReduce (com Python)
T1M2
Conceitos de IOT e Computação Distribuída
Introdução e Contextualização
Relação entre Tecnologias de IOT e Big Data
Dados de Fontes Diferentes
Diferentes Formatos
Frequência de Geração dos Dados
Computação Distribuída e IOT
Os 4 Componentes do IOT
Objetos Físicos
Computação
Protocolos de Comunicação
Serviços
Aspectos da Computação Distribuída
Distribuição e Processamento
Transferência de Dados e Análises
Tolerância a Falhas
Otimização dos Recursos Computacionais da Rede
Computação Distribuída e Big Data
Arquitetura Básica de Computação Distribuída de IOT
Fog Computing
Edge Computing
Sensores e Controladores
Cloud Computing
Protocolos de Comunicação
HTTP
MQTT
CoAP
XMPP-IOT
Plataformas para IOT
Arduino
NODEMCU
Raspberry PI
T1M3
Plataformas em Nuvem para Aplicações de Big Data
Modelos de Serviços na Nuvem
SaaS
PaaS
IaaS
DaaS
XaaS
Tipos de Nuvem
Nuvem Pública
Nuvem Privada
Nuvem Híbrida
Plataformas de Big Data na Nuvem
Soluções das Plataformas
Gestão de Dados
Análise de Dados
Ferramentas de Desenvolvimento
Profissionais das Plataformas
Engenheiros de Dados
Cientistas de Dados
Exemplos de Plataformas na Nuvem
T1M4
Processamento e Streaming de Dados
Introdução e Contextualização
Características e Desafios do Processamento de Fluxos de Dados
Características
Sensibilidade ao Tempo
Continuidade
Heterogeneidade
Imperfeição
Volatilidade
Desafios
Escalabilidade
Ordenação
Consistência e Durabilidade
Tolerância à Falhas e Garantia de Dados
Descoberta de Conhecimento a partir de Fluxo de Dados
T3M1
Framework Apache Spark
Aplicações do Spark
Cenários Adequados e Inadequados para o Uso do Spark
Arquitetura do Spark
Conjunto de Dados Distribuídos Resiliente (RDD)
Grafo Acíclico Dirigido (DAG)
Elementos Estruturais da Arquitetura do Spark
Cluster Manager
Independente (Standalone)
Apache Mesos
Hadoop YARN
Driver Program
Worker Nodes
Executor (Executores)
Tasks (Tarefas)
Fluxo de Execução da Aplicação
Ecossistema do Spark
Spark Core
Spark SQL
Spark Streaming
MLlib
GraphX
Instalação do Spark
T4M1
Componentes e Sintaxe do Python para Análise de Dados
Introdução e Contextualização
Estrutura de Projetos e Boas Práticas
Ativos de Dados
Biblioteca Pandas
T2M2
HDFS x RDBMS
Introdução e Contextualização
Diferenças entre o HDFS e o RDBMS
Instalação, Configuração e Teste do Hadoop
Pré-requisitos de Instalação
Download do Hadoop
Diretórios de Dados
Configuração de Arquivos do Hadoop
Configurar a Variável de Ambiente do Hadoop
Atualização da Pasta bin do Hadoop
Verificar o Funcionamento do Hadoop
Formatar o
namenode
Iniciar o Hadoop
Monitorar a Execução do Hadoop
T2M3
Entendendo um Data Lake
Introdução e Contextualização
Aspectos Essenciais do Data Lake
Níveis
Nível de Admissão
Nível de Gerenciamento
Nível de Consumo
Exemplo de Execução no Hadoop
T3M2
Utilização do PySpark
Introdução ao PySpark
Conectar-se a um Cluster Spark do PySpark
Realizar Operações com Spark DataFrames
Utilização do PySpark com o Pacote Pandas
Converter Spark SQL para Pandas
Converter Pandas DataFrame para Spark DataFrame
T3M3
Operações de MapReduce com PySpark
Paradigma MapReduce
Exemplos Práticos
Vetores
Listas
T3M4
Transformações com PySpark
Transformações
Transformações Estreitas
Transformações Amplas
Ações
T5M1
O Processo de KDD no Contexto da Inteligência Artificial
Definição de Inteligência Artificial (IA)
IA Simbólica
IA Subsimbólica (ou Conexionista)
Aprendizado de Máquina
Métodos de Aprendizado de Máquina
Aprendizado Não-Supervisionado
Aprendizado Semissupervisionado
Aprendizado por Esforço
Aprendizado Supervisionado
Técnicas de a
Aprendizado de Máquina
Classificação
Regressão
Agrupamento
Big Data e o Boom da IA
KDD - Descoberta de Conhecimento em Bases de Dados
Mineração de Dados
As 6 Etapas do KDD
1- Coleta de Dados
2- Seleção
3- Pré-Processamento
4- Transformação
5- Mineração de Dados ou Descoberta de Padrões
6- Avaliação e Apresentação de Resultados
Processo CRISP-DM e a Diferença para o KDD
T4M2
Preparação de Dados para Análise no Python
Obtenção do Conjunto de Dados
Dados Qualitativos x Dados Quantitativos
Dados Primários e Dados Secundários
Tratamento de Dados Nulos ou Corrompidos
Regularização de Dados
Demonstração com Python e Pandas
T4M3
Manipulação de Dados no Python
DataFrames e Tabelas
Manipulação de Dados em DataFrames
Groupby e Apply
T4M4
Visualização de Dados no Python
Tipos de Dados
Dados Numéricos
Dados Categóricos
Dados Temporais
Tipos de Visualizações
Biblioteca Plotly
T5M2
Aplicações de Aprendizado de Máquina com Scikit-Learn
Demonstração de Classificação com SVM Usando Scikit-Learn
Demonstração de Classificação com Árvore de Decisão Usando Scikit-Learn
Biblioteca Scikit-Learn no Python
T5M3
Aprendizado com TensorFlow
Definindo Aprendizado Profundo
Redes Neurais Artificiais
Redes Neurais Convolucionais
Redes Neurais Recorrentes
Demonstrações de Redes Neurais