Please enable JavaScript.
Coggle requires JavaScript to display documents.
수학여행 9일차 최적화: 눈먼 등산객이 언덕 가장 낮은 곳을 찾아가는 방법 - Coggle Diagram
수학여행 9일차 최적화: 눈먼 등산객이 언덕 가장 낮은 곳을 찾아가는 방법
경사도 벡터
정의
경사도 벡터는 다변수 스칼라 함수의 편미분계수를 요소로 가지는 벡터를 의미하며 그래디언트(gradient)라고도 부릅니다.
\( \nabla f(x^*) = \begin{bmatrix} \frac{\partial f(x^*)}{\partial x_1} \\ \frac{\partial f(x^*)}{\partial x_2} \\ \frac{\partial f(x^*)}{\partial x_3} \\ \vdots \\ \frac{\partial f(x^*)}{\partial x_n} \end{bmatrix}\)
\( \nabla \) 해당 기호는 델(del) 또는 나블라(nabla)라고 부릅니다.
성질
함수 \(f(x^*) = c \)인 표면의 초접평면에 수직
초접평면이란 모든 차원에 존재하는 평면을 나타내기 위해 사용되는 용어입니다.
경사도 벡터는 함수가 가장 빠르게 증가하는 방향을 가리킵니다.
경사도 벡터의 반대 방향은 함수가 가장 빠르게 줄어드는 방향입니다.
책의 참고 사이트
https://metamath1.github.io/noviceml/contour.html
해당 그림은 이변수 함수의 경사도 벡터를 실시간으로 시각화하였습니다.
원뿔의 뾰족한 부분이 벡터 방향이 되고 원뿔의 크기는 벡터의 크기를 나타냅니다
함수 전체 모습으 보지 못하더라도 경사도 벡터를 구해 현재 위치가 경사진 곳인지 평지인지 확인할 수 있습니다.
함수의 최대, 최소, 극대, 극소
추가 개념
열린 구간
닫힌 구간
전역 최대(최대)
전역 최소(최소)
지역 최대(극대)
함수 $$f가 정의역 내의 한 점 c를 포함하는 한 개구간의 모든 x \in D에 대해서 f(x) \leq f(c)$$에서 지역 최댓값을 가진다고 한다.
지역 최소(극소)
테일러 급수
위키백과 설명
도함수들의 한 점에서의 값으로 계산된 항의 무한합으로 해석함수를 나타내는 방법
선형근사
미분계수를 이용하여 어떤 함수를 다항식으로 근사
차수를 높여가면서 특정 위치를 기준으로 더 정확한 근사함수 생성
즉, 다항식의 합으로 어떤 함수를 나타내는 것
일반 식: (8.4)
선형근사 식: (8.2)
헤시안 행렬
정의
다변수 스칼라 함수를 두번 편미분하여 나온 행렬을 헤시안 행렬이라고 부릅니다. 기호는 \(H\) 입니다.
행렬의 형식
어떤 행렬 \(A \)에 0 벡터가 아닌 임의의 벡터 \(x\)를 \(x^TAx\)로 곱하여 나온 결과가 항상 양수면 양정 행렬(positive define matrix)라고 부릅니다.
반대로 음수이면 음정(negative define matrix)라고 부릅니다.
최적화 문제
주어진 함수에서 가장 작은 함숫값을 찾는 문제
기술: (8.1)
일계법
이계법
용어 정리
목적 함수
비용함수 or 손실함수
설계변수
제약 조건