Please enable JavaScript.

Coggle requires JavaScript to display documents.

GoingDeeper 12월 6일 ~ 8일 - Coggle Diagram

- - - - Duke Yang
      - 구글 AI 블로그
      - 정규표현식 블로그 정리
      - 코사인 유사도
      - 한국어 형태소 분석기
        
        KoNLPy
        
        kakao/khaiii
        
        한국어 형태소 분석기 비교
      - Byte Pair Encoding(BPE)
        
        Rico Senrich 의 논문
      - Wordpiece Model(WPM)
        
        Japanese And Korean Voice Search 논문
      - 확률과 가능도 그리고 최대우도추정
    - - 종류
        
        이상적이지 않은 데이터
        
        문장의 길이가 너무 길거나 짧은 경우
        
        채팅 데이터에서 문장 시간 간격이 너무 길거나 짧은 경우
        
        바람직하지 않은 문장의 사용
        
        불완정한 문장으로 구성된 대화의 경우
        
        사용 데이터
        
        문장부호
        
        대소문자
        
        특수문자
    - - 코사인 유사도
    - - 메모리 낭비, 유사도 계산 불가
    - - 토큰
        
        공백 기반
        
        형태소 기반
        
        한국어 형태소 토큰화
      - 사전에 없는 단어 문제(OOV, Out-Of-Vocabulary)
        
        Wordpiece Model(WPM)
        
        단어의 시작 부분에 추가하여 공백복원
        
        _
        
        이 후
        
        모든 토큰을 합친 후
        
        _를 공백으로 치환
        
        가능도(Likelihood)를 증가시키는 방향으로 문자쌍 합치기
        
        비공개라서 이용 어려움
        
        Byte Pair Encoding(BPE)
        
        가장 많이 등장하는 바이트쌍을 새로운 단어로 치환, 압축 그리고 반복
        
        구글의 SentiencePiece Libarary
        
        고성능의 BPE library
      - 토큰에게 의미 부여
        
        Word2Vec
        
        동시에 등장하는 단어끼리는 연관성이 있다
        
        워드투벡터 위키독스 설명
        
        FastTextt
        
        한국어를 위한 어휘 임베딩의 개발
        
        ELMo - the 1st Contextualized Word Embedding
        
        전이 학습 기반 NLP
  - - - $ sudo apt install cmake # Khaiii의 빌드 과정을 위해 cmake를 필요로 합니다.
      - $ pip install torch # Khaiii는 구동을 위해 파이토치를 필요로 합니다.
      - $ cd ~/aiffel/text_preprocess
      - $ git clone https://github.com/modulabs/khaiii_wrapper.git
      - $ cd ~/aiffel/text_preprocess/khaiii_wrapper/khaiii_pos
      - $ ./install_khaiii.sh
    - - $ pip install konlpy
      - $ cd ~/aiffel/text_preprocess
      - $ git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git
      - $ cd Mecab-ko-for-Google-Colab
      - $ bash install_mecab-ko_on_colab190912.sh
    - - $ sudo apt update
      - $ sudo apt install default-jre
- - - - 늘 같은 값을 출력
        
        학습이 진행되지 않는다
    - - 같은 계층의 모든 뉴런이 똑같이 작동(대칭성 문제)
        
        하나의 뉴런만 있는 것과 같아서 성능에 심각한 제약
    - - 작은 난수
        
        계층이 깊어질 수록 출력이 점점 0으로 변하는 현상
        
        계층이 깊어지면 학습이 진행되지 않는다.
      - 큰 난수
        
        계층이 깊어질 수록 출력이 점점 1 또는 -1으로 변하는 현상
        
        학습이 중단된다.
    - - 계층을 통과하더라도 데이터의 크기를 유지해주는 가중치
        
        Xavier 초기화
        
        시그모이드 계열의 활성 함수 사용시 가중치 초기화 방법
        
        가정
        
        활성 함수를 선형 함수로 가정
        
        입력 데이터를 0근처의 작은 값으로 가정
        
        시그모이드 계열 활성 함수의 가운데 부분을 지난다
        
        입력 데이터와 가중치가 갖는 분포의 성질
        
        입력 데이터와 가중치는 서로 독립
        
        입력 데이터의 각 차원 $ x_i $는 같은 분포 서로 독립인 i.i.d를 만족
        
        가중치의 각 차원 $ w_i $도 같은 분포, 서로 독립인 i.i.d
        
        각 $ x_i $ 와 $ w_i $ 는 평균이 0인 분포를 따른다.
        
        $ E(w_i) = 0 $
        
        $ E(x_i) = 0 $
        
        초기화 식
        
        $ Var(w) = {1 \over n} $
        
        가중치의 분산이 입력 데이터의 개수 n에 반비례 하도록 초기화
    - - 활성 함수가 ReLU 일 때 가중치 초기화 방법
        
        Xavier 초기화 사용시 데이터의 크기가 점점 작아진다
      - 초기화 식
        
        $ Var(w) = {2 \over n} $
  - - - 최적해가 있는 공간을 알려주거나
      - 손실함수를 부드럽게 만들어 최적해로 가는 길
      - 최적해 주변을 평평하게 만들어 새로운 데이터에도 모델 성능 향상
    - - 새로운 데이터에 대한 모델의 예측능력
      - 일반화 오류
        
        모델의 훈련 성능과 테스트/검증 성능의 차
    - - 모델 단순화
        
        과적합 감소
      - 사전지식을 표현, 빠른 최적해
        
        사전 분포등을 이용
      - 확률적 성질 추가
        
        데이터, 모델, 훈련 기법 등에 확률성질 부여, 조금씩 변형된 데이터 처리
        
        정확한 해, 잡음에 대한 둔감화
        
        데이터 증강, 잡음 주입, 드롭아웃
      - 여러 모델을 이용해서 동시 예측
        
        앙상블 기법
        
        배깅
    - - 단계
        
        표준 가우시안 분포로 정규화
        
        차원별로 평균과 분산을 구해서 표준 가우시안 분포로 정규화
        
        크기를 줄여 내부 공변량의 변화 감소
        
        누적 오차도 축소
        
        비선형성 표현 불가
        
        원래 분포로 복구
        
        $ y^ \left( k \right) = \gamma^\left( k \right) \hat{x}^\left( k \right) + \beta^\left( k \right) $
        
        $ \gamma $ 는 원래 데이터의 표준편차, $ \beta $ 는 원래 데이터의 평균
        
        미니배치의 평균과 표준편차는 원래 데이터와 다르니, 학습과정에서 따로 구해야 한다.
      - 데이터가 계층을 지날 때마다 매번 정규화해서 내부 공변량 변화를 없애는 방법
      - 다른 정규화와의 차이
        
        모델의 계층 형태로 데이터 정규화 실행
        
        미니 배치에 대해서 정규화
      - 배치 정규화 알고리즘
        
        학습 단계
        
        미니배치 단위의 평균과 분산으로 정규화 수행
        
        테스트 단계
        
        전체 데이터의 평균과 분산으로 정규화 수행
    - - 내부 공변량
        
        내부 공변량 변화
        
        데이터 분포가 보이지 않는 요인에 의해 왜곡되는 현상
        
        하위 계층의 작은 변화가 상위 계층으로 갈수록 큰 영향
        
        분포를 결정하는 보이지 않는 요인
    - - 외부링크
        
        L1 - L2 Norm
- - - - 스타트업 기업가 핸드북
      - The Lean Startup
      - The Startup Owner's Manual
    - - 사업모델 정의 & 고객 개발
    - - 사업 모델 정의
      - 경쟁분석