Please enable JavaScript.
Coggle requires JavaScript to display documents.
인공지능과 학습(1211 박정우) - Coggle Diagram
인공지능과 학습(1211 박정우)
결측치 처리하기
이상치 처리하기
핵심 속성 이해하기
히트맵으로 핵심 속성 추출하기
시각화할 때 사용하는 도구에는 막대그래프, 히스토그램, 원그래프, 산점도, 히트맵 등이 있으며, 핵심 속성을 추출할 때는 히트맵을 주로 사용한다.
히트맵(heatmap)은 상관관계를 시각화한 그래프로 색을 이용해 배열을 나타낸다. 속성 간의 상관관계를 분석한 후 그 값을 히트맵으로 나타내면 해결하고자 하는 문제와 관련 깊은 핵심 속성들을 상관계수(r)로 찾아내기가 쉬워진다.
-
사람의 키 속성에서 200cm 이상 값은 존재할 수 있지만, 이는 매우 드문 경우로 이상치로 간주될 수 있다. 이상치가 데이터에 존재하면 분석 결과가 왜곡될 수 있으므로, 이를 적절하게 처리해야 한다.
-
기계학습에 사용할 데이터를 선정하고 수집한 후에는 데이터 전처리 과정이 필요하다.
데이터 전처리란 결측치(missing value)와 이상치(outlier)의 유무를 파악하고 문제 해결에 필요한 속성이 무엇인지 선별한 다음 문제 해결에 적합한 형태로 데이터를 가공하는 과정을 말한다.
전통적 프로그래밍과 기계학습
-
-
기계학습을 통한 문제 해결 과정
문제 해결을 위한 데이터
데이터 선정하기
데이터 수집하기
문제 해결을 위한 데이터 수집시 고려 사항.
- 기계학습을 위해 충분한 양의 데이터인가?
- 편향되지 않은 데이터인가?
- 필요한 속성에 대한 내용을 담고 있는 데이터인가?
- 신뢰 가능한 최신의 데이터인가?
데이터를 이루는 속성은 기계학습에서 매우 중요한 역할을 한다.
수집 가능성, 정보 보호 여부, 데이터의 품질, 데이터 수집 비용 등의 요인을 고려하여 선정해야 함.
문제 적합성, 수집 가능성, 정보 보호, 데이터의 품질, 데이터 수집 비용
인공지능은 훈련 데이터를 바탕으로 학습하기 때문에 대용량의 품질 좋은 훈련 데이터가 필요하다. 또한 수집한 훈련 데이터가 편향을 띤다면 이 데이터를 이용한 학습 결과도 정확하지 않을 것이다.
기계학습을 의류 산업에 활용한 사례: 대한민국 남성의 체형관련 응답을 받고 이것을 분석해 크게 네 가지 유형으로 구분하고 사용자의 신체 정보를 입력하면 유형과 추천 스타일을 알려주는 인공지능이 존재함.
예) 어벤져스 캐릭터
- 배 나온 아이언맨 (신체 굴곡 숨길 수 있는 줄무늬 셔츠)
- 역삼각형 캡틴 아메리카(상체가 부각되지 않은 부드러운 셔츠)
- 마른 일자 몸매 스파이더맨 (밝고 경쾌한 색상, 품이 넓은 셔츠)
- 목이 두껍고 몸이 둥근 타노스 (단순한 디자인, 진한 색상)
인공지능은 입력받은 훈련 데이터(training data)를 바탕으로 학습하고 규칙을 발견해 기계학습 모델을 만듬. 학습된 기계학습 모델에 문제 해결을 위해 사용할 데이터를 적용하면 결괏값이 출력된다.
-
기계학습의 유형
지도학습
-
비지도학습
강화학습
-
판단할 때마다 외부 환경에서 보상을 제공하고, 이 보상의 값을 최대화하기 위한 방향으로 학습을 진행함. 지능 에이전트의 학습 과정에서 유용하게 활용됨. 소비 패턴 분석을 통한 마케팅 전략 수립 등의 최적화 문제에 주로 활용됨.
-
데이터 활용 방식에 따라
- 지도학습(supervised learning)
- 비지도학습(unsupervised learning)
- 강화학습(reinforcement learning) 으로 구분할 수 있다.
사전에 정답이 있는 데이터를 활용하여 학습하는 것을 지도학습, 정답을 알려주지 않고 데이터만을 제시하여 학습하는 방법을 비지도학습 이라고 한다. 이 외에 강화학습은 답을 직접 알려주지 않고 컴퓨터가 제시하는 답안에 대한 보상을 다르게 줌으로써 정답에 가까워지도록 하는 방법이다.
인공신경망과 딥러닝
인공신경망과 퍼셉트론
-
딥러닝의 개념
딥러닝(deep learning)은 여러 개의 은닉층을 포함하여 만든 심층 신경망(DNN: Deep Neural Network)을 통해 학습이 이루어지는 기계학습의 한 방법이다.
심층 신경망은 다수의 은닉층을 통해 복잡하고 많은 데이터를 정교하게 처리할 수 있다.
딥러닝의 학습 원리
-
-
최적화와 경사 하강법
최적화(optimization)란 손실함수의 값이 최소가 되도록 가중치와 편향을 갱신하는 과정을 의미하여, 오차 역전파(back-propagation)을 통해 이루어진다.
대표적 방법으로는 경사 하강법(gradient descent)이 있다.
경사 하강법은 무작위로 설정된 초기 가중치의 값을 수정하며 아래 방향으로 일정 거리인 학습률(learning rate) 만큼씩 이동한다. 기울기가 0이 될 때까지 학습을 거듭하여 가중치와 편향을 수정한다,
기울기를 구하여 속도가 느리고 계산량이 많다는 단점이 있다.
순전파와 오차 역전파( 순전파란 입력값이 입력층과 은닉층을 거쳐 출력층에 도달하기까지의 계산 과정을 말한다. 오차 역전파는 순전파의 반대 방향으로 출력층에서 시작하여 거꾸로 거슬러 올라가면서 가중치와 편햐을 갱신하는 과정이다. 이렇게 순전파와 오차 역전파를 반복하며 최적의 가중치와 편향을 찾아가는 과정을 '딥러닝의 학습' 이라고 한다.
손실함수란 훈련 데이터를 잘 학습했는지 파악하는 함수로, 예측값과 실젯값(정답)과의 차이를 구하는 함수다.
손실함수의 값이 작을수록 학습이 잘된 좋은 모델이라 할 수 있다.
은닉층의 개수를 늘려 층을 깊게 설계할수록 더 복잡한 문제를 해결할 수 있지만, 층이 깊을수록 계싼량이 많아져 학습 시간이 오래 걸리고, 과대적합*(훈련 데이터의 성능 평가가 테스트 데이터의 성능 평가보다 높은 경우) 이 발생할 수도 있다.
퍼셉트론(perceptron)은 이러한 인공신경망을 실제로 구현한 연산
장치로서, 여러 개의 입력값을 처리하여 하나의 결괏값인 0 또는 1을
출력하는 인공신경망의 가장 작은 단위이다.
입력층 1개와 출력층 1개로 이루어진 구조를 단층 퍼셉트론이라고 한다
퍼셉트론은 뉴런의 수상 돌기(뉴런에서 뻗어 나온 나뭇가지 모양의 짧은 돌기, 신경 세포체에 화학신호를 전달하는 역할)와 같이 데이터를 입력받고, 신경 세포체처럼 입력 받은 데이터를 처리하여 마지막 축삭 돌기(뉴련의 세포체에서 길게 뻗어 나온 가지로 신호를 전달하는 역할)
에서 다른 뉴런으로 전기 신호를 보내듯이 데이터를 출력한다.
하지만 단층 퍼셉트론은 복잡한 문제를 처리하지 못하는 한계를 드러냈고, 이를 해결하기 위해 은닉층을 새로 만들게 되었다. 입력층, 은닉층, 출력층의 구조를 갖춘 인공신경망을 다층 퍼셉트론이라고 한다.
-