Please enable JavaScript.

Coggle requires JavaScript to display documents.

수학여행 10일차 최적화: 눈먼 등산객이 언덕 가장 낮은 곳을 찾아가는 방법 - Coggle Diagram

- - - - 이변수 함수를 테일러 급수로 표현한 것(식 8.6)
        
        헤시안 행렬 적용
        
        식8.10
        
        $$ x - x^* = d 이고, f(x^*) 를 좌변으로 $$
        
        $$ f(x^* + d) - f(x^*) = \nabla f $$
        
        식 8.11
        
        1 more item...
    - - 최대가능도 추정
- - - - 이 책에서는 비제약 최적화만 나옴
        
        일계법 first order methocd
  - - - 선형 근사
      - 2차 근사
      - 다항식의 차수를 높여가면서 더 정확한 근사 함수를 만들 수 있음
- - - - 강하 방향
        
        경사도 벡터의 반대 방향으로 이동하면 함숫값을 무조건 감소
        
        가장 효율적인 감소 방향은 경사도 벡터와 경사 방향d를 내적했을 때 0보다 작은 경우를 경사 방향이라 함
        
        경사방향을 아예 경사도 벡터의 반대 방향으로 지정
        
        그게 최속강하법
        
        정해진 강하 방향으로 함수에 대한 최솟값을 찾는 것
        
        선 탐색
        
        정확 선 탐색
        
        1 more item...
        
        부정확 선 탐색
        
        1 more item...
      - 현재 위치에서 계산된 어떤 방향이 함수를 줄이는 방향이 되려면 경사도 벡터와 내적이 음수가 되어야 한다. 이를 만족하는 방향을 강하 방향이라 한다.
    - - 이전 강하 방향을 계속 이용하는 방법
        
        강하 방향을 계속 이용. 즉 k번째 강하 방향을 경사도벡터의 반대방향으로 설정하지 않는다.
        
        $$d^{(k)} = -c^{(k)} + \beta_k d^{(k-1)}$$
        
        $$\beta_k = \frac{c^{(k)} \cdot c^{(k)}} {c^{(k-1)} \cdot c^{(k-1)}}$$
      - 이동거리와 $\beta$를 간단한 상수로 지정하면 모멘텀 방법과 동일합니다.
    - - 강하 방향을 경사도벡터의 반대 방향으로 하여 매 순간 함수를 가장 빠르게 줄이는 방향을 따라 이동하여 강하 방향을 결정하는 방법.
      - 이동 거리를 고정하면 확률적 경사 하강법(SGD)와 동일합니다.
  - - - 경사도 벡터의 성질은 함수가 가장 빠르게 감소하는 방향이 경사도 벡터의 반대 방향이라는 성질입니다.
      - 함수 이동 거리
        
        정해진 강하 방향으로 얼만큼 이동할지를 의미함
        
        이동거리 $\alpha$는 머신러닝에서 적당히 고정값으로 지정함
        
        결국 학습률과 같은 개념
      - 다변수 스칼라 함수의 편미분 계수를 요소로 가지는 벡터로 그래디언트라고도 부릅니다.