Please enable JavaScript.

Coggle requires JavaScript to display documents.

인공지능과 학습 (1505 김주연), 2.5 딥러닝의 이해와 활용, (2) 데이터 전처리와 핵심 속성 추출 (1505 김주연),…

- - - - 컴퓨터가 데이터를 통해 스스로 학습하고 기계학습 모델을 만들도록 함
      - 데이터 속성들 간의 규칙을 학습, 모델을 생성한 후 새로운 입력 데이터의 결과 판단/예측
  - - - 문제 상태 정확히 파악/정의, 현재 상태와 목표 상태가 무엇인지, 핵심 요소는 무엇인지 등.
        
        기계학습을 통해 해결할 수 있는 문제인지 확인, 훈련 데이터의 양과 질, 프로그램의 성능, 기술 발전 양상에 따라 달라짐, 그러나 충분한 양과 우수한 품질을 활용해 적합한 모델을 생성할 수 있는지 기계학습으로 해결한 가능성이 높은 문제 or 낮은 문제로 구분 가능
- - - - 데이터 처리 및 분석의 공정성 : 처리하고 분석할 때, 분석 방법이나 모델이 편향되거나 불공정한 결과를 도출하면 X
        
        데이터 사용의 공정성 : 공정하게 사용 되어야 함, 불필요한 차별이나 편견이 존재해서는 안됨.
        
        투명성과 설명 가능성 : 처리되는 과정은 투명하고 설명 가능해야 함.
    - - 다양한 사회적/경제적 요인이 복합적으로 작용해 발생했기에 필요한 우수한 품질의 데이터를 적절히 확보하기 어려움
        
        다양한 요인이 섞여 있기에 핵심 요소가 무엇인지 파악하기가 어려움
- - - - 업로드하면 그것을 내려받아 활용 가능, 개인이 만들어 공유한 데이터뿐만 아니라 여러 기업/공공 기관/API 형태로 제공하기도 함
        
        (원 저작권을 침해하지 않도록 유의)
- - - - 하지만 훈련 데이터의 양이 너무 적거나, 양이 충분하더라도 체형을 분석하기에 적합한 속성이 부족하거나, 한쪽으로 치우친 데이터만 사용한다면 정확한 모델 생성하기 어려움, 기계학습으로 해결할 가능성이 낮아짐
        
        과거의 구입 이력, 최근 클릭한 상품 목록 등의 데이터가 충분히 있다면, '이전 기록을 바탕으로 상품을 추진하는 시스템을 만들자'라는 문제는 해결할 가능성이 높은 문제임
- - - - 기울기 0이 될 때까지 학습 거듭하여 가중치와 편향 수정 - 데이터의 기울기를 구하여 속도가 느리고 계산량이 많다는 단점이 있음
- - - - CNN이 좋은 이유 : 이미지의 형태를 그대로(2차원) 사용해 특징을 잘 추출함,
        기존 신경망처럼 이미지를 1차원으로 바꾸지 않아도 됨
- - - - 해결하고자 하는 문제와 관련 깊은 핵심 속성들을 상관계수(r)로 찾아내기가 쉬워짐.
- - - - 컴퓨터는 입력 데이터의 특징을 분석하여 패턴이나 특정 규칙을 찾아내야 함
- - - - 최고 기온이라는 독립 변수를 x축으로, 판매량이라는 종속 변수를 y축으로 했을 때 좌표평면 위의 점들을 가장 알맞게 이어주는 추세선을 그린다.
        
        이때 직선은 y=wx+b의 형태로 표현, 이 식을 가설 함수라고 함
        
        예측값과 실젯값의 오차를 구하는 손실함수를 이용해 오차를 최소화하면서 예측의 정확도를 높일 수 있음
  - - - 예) 개와 고양이 이미지를 수집하여 분류 모델을 생성한 후, 입력하면 각 데이터의 대한 클래스를 분류할 수 있다.
      - 이진 분류와 다중 분류
        
        이진 분류 : 주어진 데이터를 2개의 클래스로 분류하는 것
        다중 분류 : 주어진 데이터를 3개 이상의 클래스로 분류하는 것
        예) 환자의 의료 데이터를 수집하여 당뇨발병 환자와 미발병 환자
- - - - 사람마다 다른 손글씨 모양
      - 목표: 이미지 → 0~9 숫자 분류
      - 입력: 28×28 픽셀(784개 값)
      - 출력: 0~9 중 한 숫자
    - - 손글씨 숫자 이미지 데이터
      - 훈련 데이터 60,000개
      - 테스트 데이터 10,000개
    - - 크기 확인: (60000, 28, 28)
      - 픽셀 값 범위: 0~255
      - 이미지 시각화(imshow)
      - 정답(label) 확인
    - - 입력층
        
        784개 노드(28×28)
      - 은닉층
        
        노드 100개
        
        활성화 함수: ReLU
      - 출력층
        
        노드 10개(0~9)
        
        활성화 함수: Softmax(확률 계산)
    - - 데이터로부터 자동으로 특징 추출
      - 반복 학습으로 패턴 인식
      - 최종적으로 숫자 출력 확률 계산
    - - 기계학습: 사람이 특징을 직접 추출
      - 딥러닝: 특징도 자동 학습(데이터가 많을수록 강력)