Please enable JavaScript.

Coggle requires JavaScript to display documents.

07-SVMs (SVM é Support Vector Machine (Maquina de Vetor de Suporte) -Uma…

- - - - Hiperplano - linha de separação
        
        Várias Possibilidades
        
        MAXIMIZACAO
        
        PRIMAL
        
        d + 1 variáveis desconhecidas
        
        n restrições
        
        Programação quadrática clásssica
        
        Ok quando d << n
        
        Fase de Treinamento
        
        Encontrar a reta q melhor separa as classes
        
        Fase de Classificação
        
        Clacula de qual lado do hiperplano está a classe
        
        DUAL
        
        n variáveis desconhecidas
        
        G matriz pairwise de influência
        
        n restrições
        
        Fácil de resolver
        
        Para ser usado quando d > n
        
        COMO FAZER
        
        Manipular restrições de desigualdades diretamente pode ser difícil
        
        Otimizar os vetores de suporte em relação a fronteira de decisao.
        
        Por ser Quadritica, usamos Multiplicadores de LAGRANGE, mas pra isso a otimização precisa estar em KKT
        
        Karush-Kuhn-Tucker (KKT)
        
        Estacionariedade
        
        Folga Complementar
        
        Viabilidade Primal
        
        Viabilidade Dual
    - - VARIÁVEL SLACK
        Ponto de erro de classificação o qual usamos para medir, atribuindo C (Peso do Erro)
        C é o parâmetro de regularização que controla o trade-off entre a maximização da margem e a minimização do erro de treinamento:
        
        C com valores pequenos tendem a efatizar o erro de treinamento.
        
        C com valores grandes causam overfitting
        
        ESCOLHA DA NORMA DE SOFT MARGIN
        Problema 1-norm soft margin . O algorítimo 1-norm quando comparado ao de 2-norm é menos sensível a outliers aos dados de treinamento. Quando os dados possuem muitos ruídos, 1-norm deve ser usada para ignorar os Outliers
        
        L1 SOFT MARGIN
        
        DUAL
        
        n variáveis desconhecidas
        
        G matriz pairwise de influência nxn
        
        2n restrições
        
        Fácil de resolver
        
        Para ser usado quando d > n
        
        PRIMAL
        
        d + n + 1 variáveis desconhecidas
        
        2n restrições
        
        Programação quadrática clássica
        
        Para ser usado quando n é muito grande para construir G (d < n)
        
        L2 SOFT MARGIN
        
        PRIMAL
        
        d + n + 1 variáveis desconhecidas
        
        2n restrições
        
        Programação quadrática clássica
        
        Para ser usado quando n é muito grande para construir G (d << n)
        
        DUAL
        
        n variáveis desconhecidas
        
        G matriz pairwise de influência nxn
        
        n restrições
        
        Fácil de resolver
        
        Para ser usado quando d > n
  - - - Forma dual de SVMs lineares: produto interno de pares de exemplos de treinamento (xi . xj)
        
        Se definirmos uma função (kernel) K(xi, xj) = Φ (xi) . Φ(xj) não precisamos conhecer Φ (“kernel trick”)
        Um mesmo kernel pode servir para diferentes ℋ e Φ
        
        Toda função funciona como kernel?
        Apenas os que atendam a CONDIÇÃO DE MERCER
        
        Pode provar para Kernels:
        
        polinomial homogêneo
        
        polinomial não-homogêneo
      - ESCOLHA DE KERNELS
        Boa notícia: há vários possíveis kernels (cada um com parâmetros a serem escolhidos) que podem ser usados
        Má notícia: como escolher o kernel e os valores de seus parâmetros ainda é uma questão em aberto
        Não há uma regra direta
        Metodologia utilizada: seleção por validação cruzada
        
        TIPOS
        
        Kernel Linear
        K(x,y) = x.y
        Recomendado quando:
        
        os dados são linearmente separáveis (SVM linear)
        
        os dados são esparsos (ex: categorização de textos)
        
        Os dados possuem um grande número de características
        
        Kernel Polinomial
        K(x,y) = (x . y)p, p inteiro positivo
        
        P = 1 equivale ao linear
        
        Popular em processamento de imagens
        
        Espaço de dimensão Ex: p = 4 e imagem 16x16 => dim( ) = 183 181 376
        
        Kernel (Gaussian) Radial Basis Function (RBF)
        K(x,y) = exp(-γ ||x.y||2), γ um parâmetro positivo Considerado como uma boa primeira tentativa quando não se sabe muito sobre os dados
        
        Kernel Sigmóide
        K(x,y) = tanh(κ x.y - δ)
        Considerado equivalente a uma rede neural de duas camadas (rede perceptron) usando função de ativação sigmoide