Please enable JavaScript.
Coggle requires JavaScript to display documents.
수학여행 10일차 최적화: 눈먼 등산객이 언덕 가장 낮은 곳을 찾아가는 방법 - Coggle Diagram
수학여행 10일차 최적화: 눈먼 등산객이 언덕 가장 낮은 곳을 찾아가는 방법
경사도 벡터
최적성 조건
유도
이변수 함수를 테일러 급수로 표현한 것(식 8.6)
헤시안 행렬 적용
식8.10
$$ x - x^* = d 이고, f(x^*) 를 좌변으로 $$
$$ f(x^* + d) - f(x^*) = \nabla f $$
식 8.11
1 more item...
용도
최대가능도 추정
헤시안 행렬
이전 시간 복습 내용
목적함수
설계 변수
Parameter
제약 조건 constraint
이 책에서는 비제약 최적화만 나옴
일계법 first order methocd
비용함수 or 손실함수
테일러 급수 Taylor series
approximation
선형 근사
2차 근사
다항식의 차수를 높여가면서 더 정확한 근사 함수를 만들 수 있음
다항식의 합으로 어떤 함수를 나타내는 것
경사 하강법
경사도 벡터를 이용하여 강하 방향을 결정하는 방법
강하 방향
강하 방향
경사도 벡터의 반대 방향으로 이동하면 함숫값을 무조건 감소
가장 효율적인 감소 방향은 경사도 벡터와 경사 방향d를 내적했을 때 0보다 작은 경우를 경사 방향이라 함
경사방향을 아예 경사도 벡터의 반대 방향으로 지정
그게 최속강하법
정해진 강하 방향으로 함수에 대한 최솟값을 찾는 것
선 탐색
정확 선 탐색
1 more item...
부정확 선 탐색
1 more item...
현재 위치에서 계산된 어떤 방향이 함수를 줄이는 방향이 되려면 경사도 벡터와 내적이 음수가 되어야 한다. 이를 만족하는 방향을 강하 방향이라 한다.
켤레경사법
이전 강하 방향을 계속 이용하는 방법
강하 방향을 계속 이용. 즉 k번째 강하 방향을 경사도벡터의 반대방향으로 설정하지 않는다.
$$d^{(k)} = -c^{(k)} + \beta_k d^{(k-1)}$$
$$\beta_k = \frac{c^{(k)} \cdot c^{(k)}} {c^{(k-1)} \cdot c^{(k-1)}}$$
이동거리와 \(\beta\)를 간단한 상수로 지정하면 모멘텀 방법과 동일합니다.
탐색법 or 적접법
최속 강하법
강하 방향을 경사도벡터의 반대 방향으로 하여 매 순간 함수를 가장 빠르게 줄이는 방향을 따라 이동하여 강하 방향을 결정하는 방법.
이동 거리를 고정하면 확률적 경사 하강법(SGD)와 동일합니다.
경사하강법 구성 요소
경사도 벡터
경사도 벡터의 성질은 함수가 가장 빠르게 감소하는 방향이 경사도 벡터의 반대 방향이라는 성질입니다.
함수 이동 거리
정해진 강하 방향으로 얼만큼 이동할지를 의미함
이동거리 \(\alpha\)는 머신러닝에서 적당히 고정값으로 지정함
결국 학습률과 같은 개념
다변수 스칼라 함수의 편미분 계수를 요소로 가지는 벡터로 그래디언트라고도 부릅니다.