Please enable JavaScript.
Coggle requires JavaScript to display documents.
08 Engenharia, preparação e visualização de dados - Coggle Diagram
08 Engenharia, preparação e visualização de dados
Ciclo de Vida
Seleção dos dados
Transformação e pré-processamento
Escolha de Técnica ML
Treino
Teste
Validação
Implantação
Representação do conhecimento
LGPD
Finalidade
Adequação
Necessidade
Livre Acesso
Qualidade dos dados
Transparência
Segurança
Prevenção
Não discriminação
Responsabilidade e prestação de contas
Big data
Técnicas de processamento
grandes volumes
KDD
Contém um elemento de controle
Iterativo e cíclico
Descoberta de Conhecimento
Atingir o objetivo
extrair padrões
separados em conjuntos menores
Aprendizagem de máquina
redes neurais artificiais
Inspirada nos neurônios biológicos
aprendem associação, abstração
simulando conexões sinápticas
Coleta e seleção de dados em SGBD
SQL
SELECT * FROM TABLE
ER
Entidade-Relacionamento
Entidades
retângulos
Relacionamentos
linhas
simples
losango
Atributos
elipses
complexo
muitos para muitos
muitos para um
NoSQL
Semi estruturados
Nao estruturados
Manipulação de dados
shell scripts
Usa SQL
Comando NoSQL
db.BancoExemplo.remove({id :1);
Transformação e preparação de dados
ETL
Extract
Transform
Load
KDD
tem raiz na estatística
foca em amostra
grandes volumes
Técnicas avançadas
Heurísticas de agrupamento
K-Means
Python
Dashboards
VIS
Simulação Visual Interativa
Simio
SAS
Lumina
Oracle Crystal Ball
Rockwell Automation Arena
VIM
Modelagem Visual Interativa
Estatística Aplicada à Análise de Dados
Valores Médios
Amostra
Medidas de Dispersão
Testes para uma amostra
Distribuição Normal (z) > 30
Distribuição t Student < 30
Validação Cruzada