Please enable JavaScript.
Coggle requires JavaScript to display documents.
08-Redes Neurais (REDES NEURAIS ARTIFICIAIS
image (APRENDIZADO…
08-Redes Neurais
REDES NEURAIS ARTIFICIAIS
PROCESSAMENTO
- Cada unidade (da mesma camada) da rede realiza o mesmo cálculo geralmente baseado na soma ponderada das entradas na unidade.
- O conhecimento obtido pela rede fica armazenado nos pesos correspondentes a cada uma de suas unidades (neurônios).
- Representação “Caixa Preta”: É difícil extrair o conhecimento sobre o conceito aprendido.
APRENDIZADO SUPERVISIONADO EM RNAs
- Dados
- Tarefa treinar uma rede neural usando esses exemplos.
COMO MEDIR
O desempenho deve ser medido pela capacidade da rede em produzir saídas corretas para dados não contidos no conjunto de treinamento.
PREPARACAO
PRELIMINARES AS TREINAMENTO
- escolha da arquitetura de rede correta.
- número de neurônios
- número de camadas ocultas
- escolha da função de ativação (a mesma para cada neurônio de uma mesma camada).
-
TIPOS
PERCEPTRONS
Possui um único neurônio de saída.
- Considera uma soma ponderada das entradas.
- A função de ativação da unidade calcula a saída da rede.
Exemplo: unidade com threshold (limiar) linear.
FUNÇÃO ATIVAÇÃO
FUNÇÃO THRESHOLD
FUNÇÃO LOGÍSTICA/SIGMÓIDE
FUNÇÃO STEP (DEGRAU)
- Saída +1 se Netinput > Threshold T
Saída –1 caso contrário
- Aqui, os dados binários são representados por +1 e -1
APRENDIZAGEM
- Os pesos entre as unidades de entrada e saída.
- O valor do threshold
- Aprende somente a discriminação de classes que sejam linearmente separáveis. Por exemplo, as funções boolenas AND e OR.
-
ALGORITMO
- Os valores dos pesos são inicializados aleatoriamente, geralmente no intervalo (-1, 1).
- Para cada exemplo de treinamento E:
- Calcule a saída observada da rede o(E).
- Se a saída desejada t(E) for diferente de o(E):
- Ajuste os pesos da rede, para que o(E) chegue mais próximo de t(E).
- Isso é feito aplicando-se a regra de aprendizado do Perceptron.
REPETICAO
Repita o ciclo novamente (uma “época”).
- Até que a rede produza saídas corretas (ou boas o suficiente) – convergência.
- Considerando todos os exemplos no conjunto de treinamento.
REGRA
- Quando t(E) for diferente de o(E)
Adicione Δi ao peso wi
Em que Δi = η(t(E) – o(E))xi
Faça isso para todos os pesos da rede.
- Interpretação: (t(E) – o(E)) será igual a 0, +2 ou –2 (considerando saídas +1 ou -1 apenas) –
- Portanto, pode-se pensar na adição de Δi como uma movimentação do peso em uma determinada direção que irá melhorar o desempenho da rede com relação a E.
- Multiplicação por xi : o movimento aumenta proporcionalmente ao sinal de entrada.
TAXA DE APRENDIZADO
- O parâmetro η é chamado de taxa de aprendizagem.
- Geralmente escolhido como uma pequena constante entre 0 e 1
- controla o movimento dos pesos.
- não deixa haver uma mudança grande para um único exemplo.
- Se uma mudança grande for mesmo necessária para que os pesos classifiquem corretamente um determinado exemplo:
- Essa deve ocorrer graduamente, em várias épocas.
:warning: Redes Perceptron não são capazes de aprender conceitos complexos.
EX: não conseguem aprender a função XOR
REDES PERCEPTRON MULTICAMADAS
:warning: LIMITACOES
- A regra de aprendizado na MLP baseia-se em cálculo diferencial.
- Funções do tipo degrau não são diferenciáveis. Não são contínuas no valor do threshold.
- Uma função de ativação alternativa deve ser considerada.
- Tem que ser diferenciável.
- Treinamento lento: Quanto maior a rede, maior o número de parâmetros para serem estimados (maior erro de estimação, perigo de overfitting )
- Sensível à variação dos valores de inicialização
CARACTERISTICAS
- Camada de entrada: exemplos (sinais) de entrada.
- Camada(s) oculta(s): necessária(s) para o aprendizado de funções complexas.
- Camada de saída: saídas da rede.
APRENDIZAGEM
1) Obtenha um conjunto de dados rotulados.
2) Gere um conjunto de pesos com valores aleatórios para a rede (por exemplo entre -1 e 1)
3) Apresente um exemplo (vetor de características) para a rede e calcule as suas saídas.
4) Ajuste os pesos da rede.
5) Volte para o passo 3..
ALGORITMO
BACKPROPAGATION
algoritmo de aprendizagem
O ajuste de pesos em uma rede MLP para se minimizar o erro via técnica de gradiente descendente
- Inicialize todos os pesos da rede com pequenos valores aleatórios.
- Enquanto o critério de convergência não for alcançado, faça:
1) Apresente um exemplo para a rede e calcule as suas saídas.
2) Para cada neurônio j, da camada de saída (2) faça: Calcule δj(2)
3) Para cada neurônio j, da camada oculta(1) faça: Calcule δj(1)
4) Ajuste cada peso da rede
CONVERGÊNCIA E MÍNIMOS LOCAIS
- busca por descida do gradiente através do espaço dos possíveis pesos da rede.
- Iterativamente reduz o erro entre os valores esperados e os obtidos pela rede.
- Uma vez que a superfície de erro pode conter vários mínimos locais diferentes, o método pode ficar “preso” em um desses pontos.
MOMENTUM
- A trajetória de busca do gradient descent é análoga a de uma bola rolando para baixo na superfície de erro.
- O efeito do momentum é tentar conservar essa “bola” rolando na mesma direção entre uma iteração e a subsequente a esta.
CRITÉRIO DE PARADA
- qtd de iterações (épocas)
- limiar de erro
TIPOS
FEEDFORWARD
- Alimentação de entradas pela camada mais à esquerda;
- Propagação dos sinais para frente através da rede;
- Neurônios entre camadas vizinhas estão completamente conectados.
- Podem ser usadas para a tarefa de classificação:
- tomam uma instância como entrada e produzem uma saída, que é interpretada como a classe estimada pelo modelo
- cada categoria é dada por um número ou por um intervalo de valores reais
-
Teoricamente, redes neurais do tipo MLPs podem aproximar qualquer função computável, desde que disponível um número suficientemente grande de unidades ocultas.
-
DESCRICAO
são modelos utilizados para regressão e tarefas de classificação. são modelos computacionais inspirados pelo sistema nervoso central, que são capazes de realizar o aprendizado de máquina bem como o reconhecimento de padrões. Teoricamente redes neurais MLP (Multilevel Preceptron) pode aproximar qualquer função computável desde que disponível um número suficinentemente grande de unidades ocultas.
O processo de aprendizado ocorre por sucessivas modificações nas sinapses que interconectam os neurônios, a função da maior ou menor liberação de neuro transmissores.
A medida que novos eventos ocorrem, determinadas ligações entre neurônios sã o reforçadas enquanto outras enfraquecidas. Em RNA, cada unidade da mesma camada da rede realiza o mesmo cálculo, geralmente baseado na soma ponderada das entradas da unidade. O conceito obtido pela rede fica armazenado nos pesos correspondentes a cada uma de duas unidades (neurônios). É uma representação Caixa Preta de difícil extração de conhecimento.
-