Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집 - Coggle Diagram
빅데이터와 데이터 수집
빅데이터의 이해
빅데이터의 개념
빅데이터: 기존 데이터베이스 관리ㅜ도구로는 관리하기 어려운 규모와 다양성을 가진 데이터를 말한다.
정형 데이터: 표와 같은 구조화 데이터로 데이터의 속성과 데이터 값이 구분,정리된 데이터이다.
표준화,구성화 되있다.
비정형 데이터: 이미지,사운드,비디오 등 구조가 복합하여 행과 열로 표현되지 않고 형태가 불규칙한 데이터를 말한다.
빅데이터의 특징
1.데이터의 규모가 매우 크다.
2.데이터의 형태가 다양하다.
3.매우 빠른 속도로 생성되는 대이터를 실시간으로 저장,분석,처리할 수 있다.
3V : 빅데이터의 핵심적인 3가지 특성을 나타내는 개념
(정확성과 가치를 추가하여 5V로 나타내기도 한다.)
Volume(용량,3V)
Velocity(속도,3V)
Variety(다양성,3V,5V)
Veracity(정확성,5V)
Value(가치,5V)
빅데이터 활용 사례
<대중교통 노선과 배차 간격 조정>
유동 인구 밀집도 분석--유동 인구 기반 노선 최적화--유동 인구 기반 배차 간격 조정
다양한 데이터를 결합하여 새로운 의미와 가치를 도출할 수 있다.
문제 해결에 필요한 데이터 수집
데이터 수집 방법은 다양하다. 스마트 기기를 활용한 센서 데이터 수집과 다양한 형태의 설문지를 활용힌 직접수집 방법,공개된 공공 데이터나 민간데이터 활용방법 등이 있다. 이때 개인정보나 저작권 등 윤리적 문제와 측정방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을
고려해야한다.
직접 수집 : 직접 관찰이나 실험 결과 등을 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 기기의 센서를통해 데이터를 수집할 수 있다 또한 질문에 응답하는 방식의 설문 조사나 인터뷰 등을 진행하여 데이터를 수집할 수있다.이때 개인정보나 저작권 등 윤리적 문제와 측정 방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야한다.
공공데이터 활용: 공공 데이터는 공공 기관이 생성 또는 취득하여 관리하는 전자적 방식으로 처리되는 데이터로 국민의 알 권리를 보장하고 편리함읖 높이는데 활용된다. 공공 데이터는 모든 국민이 자유롭게 활용할 수 있도록 온라인 상에서 파일 데이터, 오픈 API,시각화 등 다양한 형태로 개방되고 있다.
민간 데이터 활용: 공공기관이 아닌 개인이나 기업들에서 생석하고 관리하는 데이터로 텍스트,수치,이미지 ,동영상,오디오 등 다양한 형태가 있다.
민간 데이터를 활용하면 도서 쇼핑몰에서 구매자의 이전 구매 기록, 구매자의 평점 기록, 연령대,성별 등을 고려하여 도서를 추천해 주는것이 가능하다.
개인정보나 저작권 등 윤리적 문제와 측정방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야한다.
데이터를 활용한 문제 해결 과정
문제 상황 이해 - 문제 정의 - 데이터 수집 및 전처리 - 데이터 시각화 및 해석 - 공유 및 평가
문제 해결을 위해 필요한 데이터 알아보기
해결해야 할 문제: 온실가스 배출량 줄이기
필요한 데이터: 국가온실가스 통계,대기오염 물질 배출량,온실가스
줄이기위한 대책