Please enable JavaScript.
Coggle requires JavaScript to display documents.
인공지능과 학습 (1503 김서은), 데이터 전처리와 핵심 속성 추출, 데이터 공정성, 데이터 수집 과정의 공정성, 데이터 선정하기,…
인공지능과 학습 (1503 김서은)
기계학습과 데이터
기계학습을 이용하여 문제를 해결하는 과정은 입력받은 훈련 데이터를 바탕으로 학습하고 규칙을 발견해 기계학습 모델을 만든다.
만약 훈련 데이터의 질이 좋지 않거나 질이 좋더라도 데이터의 양이 충분하지 않으면 기계학습 모델의 성능은 높지 않을 것이다.
데이터 전처리와 핵심 속성 추출
데이터 전처리란 결측치와 이상치의 유무를 파악하고 문제 해결에 필요한 속성이 무엇인지 선별한 다음 문제 해결에 적합한 형태로 데이터를 가공하는 과정을 말한다.
데이터 공정성
데이터 공정성
: 데이터 수집, 처리, 사용, 공유 과정에서의 공평성과 투명성을 의미한다
데이터 수집 과정의 공정성
데이터를 수집할 때 한 쪽으로 치우쳐서는 안 된다
데이터 선정하기
데이터를 이루는 데이터 속성은 기계학습에서 매우 중요한 역할을 한다. 기계학습을 위한 데이터를 선정할 때에는 우리가 해결하고자 하는 문데와 관련 있는 데이터인지 확인해야 한다.
데이터 수집하기
문제 해결을 위한 데이터를 수집하기 위해서는 다음 사항을 고려해야 한다
기계학습을 위해 충분한 양의 데이터인가?
편향되지 않은 데이터인가?
필요한 속성에 대한 내용을 담고 있는 데이터인가?
신뢰 가능한 최신의 데이터인가?
이상치 처리하기
이상치란 평균적인 데이터 범위보다 지나치게 높거나 낮은 수치의 값을 말한다. 이상치가 데이터에 존재하면 분석결과가 왜곡될 수 있으므로 이를 적절하게 처리해야 한다.
핵심 속성 추출하기
데이터란 관찰이나 실험을 통해 수집되는 값들을 의미하며 하나의 데이터는 여러가지의 속성으로 귀성되어 있다
속성값은 각 속성이 가질 수 있는 값으로 숫자나 텍스트 등으로 나타낸다.
히트맵으로 핵심 속성 추출하기
히트맵: 상관관계를 시각화한 그래프로 색을 이용해 배열을 나타낸다.
-필요한 핵심내용을 쉽게 찾을 수 있다.
전통적 프로그래밍
: 사람이 집의 가격을 결저하는 원리나 규칙을 찾아 프로그램을 작성함
기계학습
: 입력된 데이터로부터 도출해 가격을 예측하는 프로그램을 작성함
훈련 데이터: 기계학습 모델을 만들기 위해 인공지능에 입력하는 데이터
또한 수집한 훈련 데이터의 편향을 띤다면 이 데이터를 이용한 학습 결과도 정확하지 않을 것이다
apl: 응용 프로그램 개발에 활용 가능한 인터페이스를 의미한다
결측치
: 퍼즐이 빠져있는 것처럼 수집된 데이터에서 비어있는 값 혹은 누락된 값
이상치
: 색깔이 다른 한 개의 사과처럼 평균적인 데이터 범위보다 지나치게 높거나 낮은 수치의 값