Please enable JavaScript.
Coggle requires JavaScript to display documents.
수학여행 5일차 여러 미분법과 다변수 함수의 도함수: 변화율과 도함수를 복잡한 함수로 확장하기곱 - Coggle Diagram
수학여행 5일차 여러 미분법과 다변수 함수의 도함수: 변화율과 도함수를 복잡한 함수로 확장하기곱
미분법
덧셈, 뺄셈의 미분법
$$ \frac{d}{dx} (f(x) + g(x)) = \frac{d}{dx} f(x) + \frac{d}{dx} g(x) $$
곱셈의 미분법
$$\frac{d}{dx}(f(x)g(x)) = \frac{d}{dx}(f(x))g(x) + f(x)\frac{d}{dx}(g(x))$$
나눗셈의 미분법
$${d\over dx}\left( f(x) \over g(x)\right) = \lim_{n \to 0} { {f(x+h)\over g(x+h)} - {f(x)\over g(x)}\over h} $$
합성함수의 미분법
인공신경망은 합성함수의 반복이다
연쇄법칙(chain rule)
항
각 경로에 적혀 있는 변화율을 경로를 따라가며 곱
경로가 모이는 지점
그 항들의 덧셈
\(\frac{\triangle y}{\triangle x} = \frac{\triangle y}{\triangle z} \cdot \frac{\triangle z}{\triangle x}\)
변화율
편미분
야코비안 행렬 (Jacobian Metrix)
분자 레이아웃
관행
편도함수를 블록 형태로 적은 것
야코비안 행렬인지 야코비안 행렬식인지 문맥에 따라 파악 한다.
정사각 행렬
행렬식(determinant)
https://en.wikipedia.org/wiki/Jacobian_matrix_and_determinant
출력과 동일한 수의 변수를 입력으로 사용
참고사이트
https://angeloyeo.github.io/2020/07/24/Jacobian.html
편도함수를 구하는것을 "편미분하다"라고 함.
$$\frac{\partial}{\partial x_k} f(x_1,x_2,...,x_n) = \lim_{x\to 0} \frac {f(x_1,x_2,...h,...,x_n)}{h}$$
벡터함수를
일변수화
한 상태에서 도함수를 구한 것
극한
순간변화율
\(\lim \frac{\triangle{y}}{\triangle{x}} = \lim \frac{\triangle{y}}{\triangle{z}} \cdot \lim \frac{\triangle{z}}{\triangle{x}}\)
$$\frac{dy}{dx} = \frac{dy}{dz} \cdot \frac{dz}{dx}$$
상미분
$$\frac{d}{dx}$$
항상 상 + 미분
특별한 함수의 미분법
$$ \sigma (z) = \frac{1}{1 + e^{-z}} $$
나눗셈의 미분
지수함수 미분공식 \( (e^z)' = e^z \) 이용
합성함수미분
대수적 조작: 분자 +1 후 분모 분리
$$ \frac{d}{dz} \sigma (z) = \sigma (z) (1- \sigma (z) $$
소프트 맥스 함수 미분법
소프트맥스 함수는 다변수 벡터함수이므로 미분하면 야코비안 행렬을 얻게 됩니다.
야코비안의 i,j 번째 성분
i = j
$$ \frac{ \partial }{\partial z_j} s_i (z) = s_{j}(z)(1-s_{j}(z))$$
i와 j가 다른 경우
$$ \frac{ \partial }{\partial z_j} s_i (z) =-s_{i}(z)s_{j}(z)$$
$$s(z) = \frac{e^{z_{i}}}{\sum^K_{k=1}e^{z_k}}$$