Please enable JavaScript.

Coggle requires JavaScript to display documents.

수학여행 11~13일차 인공신경망 학습하기 - Coggle Diagram

- - - - 평균제곱 오차
        
        $$J(W;X,t) = \frac{1}{2N}\sum_{i=1}^{N} {(t_i - y_i)^2}$$
    - - 이진 분류
        
        바이너리 크로스 엔트로피(binary cross entropy)
      - 다중 분류
        
        크로스 엔트로피(cross entropy)
- - - - 결합된 모델의 목적함수 계산
        
        최적화 기법을 사용하여 목적함수를 줄여나감
        
        최적화 기법을 사용하기 위해서 그래디언트를 구해야함
        
        자동미분으로 그래디언트 구하기
- - - - 야콥비안 전치 & 연쇄법칙 만족
        
        기타 유용한 수학 개념(추후 변경 가능)
        
        벡터나 행렬에서 요소들끼리 곱
        
        아다마르 곱(hadamard product)
        
        열 결합
        
        스퀴즈
        
        일반화된 야코비안
    - - 계산 그래프를 따라서 목적함수 미분
        
        단계별 미분
        
        연쇄법칙(미분)
    - - 반복적으로 함수를 이용
        
        역전파
        
        미분계수
        
        순전파
        
        목적함수
      - 한 번에 이용
        
        교재(p 276)에서 제작한 forward(), forwad_torch()
        
        행렬 덧셈을 안 하는 이유
        
        행렬 외적곱이므로 필요하지 않다.
  - - - $ \frac{\partial C}{\partial a^{(l)}} = W^{(l + 1)^T}{\delta}^{l + 1} $
    - - $ \frac{\partial C}{\partial z^{(l)}} = \delta^{l}(z^{(l)}) \odot (W^{(l+1)}\delta^{(l+1)})$
    - - $ \frac{\partial C}{\partial b^{(l)}} = \sum_{j} \delta^{(l)}_{:,j} $
    - - $ \frac{\partial C}{\partial W^{(l)}} = \delta^{(l)}(a^{(l-1)})^T$