Please enable JavaScript.
Coggle requires JavaScript to display documents.
Redes Neurais Artificiais - Coggle Diagram
Redes Neurais Artificiais
Definição
Estrutura complexa interligada por neurônios artificiais, que possuem a capacidade de realizar operações como cálculos em paralelo para processamento de dados e representação de conhecimento
Cálculos em paralelo
Transformações lineares (input e pesos)
Funções de ativação
Diferenciáveis e não lineares
Exemplos
RELu
Sigmóide
Identidade
Gaussiana
Degrau
Backpropagation (Rumelhart,Hinton & Williams, 1986)
Neurônios artificiais
Perceptron (Rosenblatt, 1957)
Função de ativação
Somatório ponderado
Pesos
Entrada
Arquiteturas
Tipos
Recurrent Neural Network (RNN)
Multi-Layer Perceptron (MLP)
Convolutional Neural Network (CNN)
Long Short-Term Memory (LSTM)
etc.
Hiperparâmetros
Tamanho da camada de entrada
Tamanho da camada de saída
Tamanho da camada interna
Taxa de regularização
Função de ativação
Treinamento
Feedforward
Matriz de entrada
Propagação da camada de entrada até a de saída
Backpropagation
Função de custo
Objetivo
Minimizar a função de custo (soma ponderada dos erros)
Mudança dos pesos
Otimização
Força bruta
Maldição da Dimensionalidade
Numerical Gradient Estimation
Gradient Descent
Problema: funções não convexas (mínimos locais)
Estochastic Gradient Descent
Batch Gradient Descent
Teste: Numerical Gradient Checking
Vários outros tipos
Teste
Overfitting
Modelo muito especializado no ruído
Forma de evitar
Mais dados (10 * n de graus de liberdade do problema)
Regularização
Forma de penalizar modelos muito complexos
Objetivo
Testar a generalidade do modelo
Dados são observações de um fenômeno no universo
Universo é um sistema complexo e dinâmico de incontáveis variáveis
Observação = Sinal + Ruído
Simulação do universo
Underfitting
Modelo pouco especializado no sinal