수학여행 6일차 수치미분과 자동미분: 컴퓨터로 복잡한 미분을 간편하게

자동미분

구현

덧셈함수

수치미분

직접미분

곱셈함수

정의

방식

독립변수의 변화 △x로 종속변수의 변화 △y를 실제로 계산하고 이둘을 나눠서 특정 점에서 미분계수를 근사하는 방식

개념

포워드 패스

백워드 패스

역전파

종류

파이토치 자동미분

미분

전방차분법

중앙차분법

torch.autograd.grad()

수치미분의 한계

근사식시키면서 생기는 절단오차

컴퓨터가 가진 수치 표현의 한계에 의한 반올림 오차

방식

텐서

  1. 물리학에서 물리량을 표현하기 위한 수학적 도구
  2. 넘파이에서 제공하는 다차원 array의 파이토치 버전

.tensor()

.fromnumpy()

.Tensor()

.as_tensor()

.DoubleTensor()

매개변수

순전파

연쇄법칙을 함수에 반복적으로 적용해 전체 함수에 대한 미분계수를 자동으로 계산하는 방식

상류층 미분계수

CAS

SymPy

방향 도함수

sympy.diff()

sympy.simplify()

sympy를 이용한 직접 미분 절차

requires_grad 인자

torch.autograd.backward()