Please enable JavaScript.
Coggle requires JavaScript to display documents.
11월 16일 - Coggle Diagram
11월 16일
exploration 15. transformer로 만드는 대화형 쳇봇
외부 링크
스뎅폳 대학교 유투브
강의
Jay Alammar의
The Illustrated Transformer
한국어
번역
추천 도서
텐서플로 2와 머신러닝으로 시작하는 자연어 처리
한국어 임베딩
영빈님 진행했던 풀잎
사용했던 ppt
colab파일
동영상
Keras API
Doc
Tensorflow
Doc
트랜스포머
인코더
디코더
특징적 구조
포지셔널 인코딩
구조
어텐션
구조
구조
톺아보기
신경망 학습
모델 파라미터
최적화 과정
손실함수의 최소지점 찾기
최적화 문제
목적 함수
변수 x에 대한 등식과 부등식으로 표현되는 여러 제약조건을 만족하면서 목적 함수인 f(x)를 최소화하는 x의 값을 찾는 문제
상태:수렴한다
문제에 따라 최대화 문제가 된다.
1 more item...
최적해
제약 조건
지도학습에 적용
회귀 문제
타깃과 예측값의 오차를 최소화하는 파라미터를 찾으라
2 more items...
분류 문제
관측 확률분포와 예측 확률분포의 차이를 최소화하는 파라미터를 찾으라
2 more items...
최적화 알고리즘
최적화 문제는 닫힌형태가 아니다
임의로 조금씩 접근
미분차수에 따라 구분
3 more items...
전역 최소(global minimum) 최소
불가능
지역 최소(local minimum), 극소
현실적 목표
주요 활성 함수의 미분
시그모이드
하이퍼볼릭 탄젠트
ReLU
리키 ReLU
