Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집 1225 차동현 - Coggle Diagram
빅데이터와 데이터 수집
1225 차동현
빅데이터의 개념
정보 과학 기술의 발달로 짧은 시간에 많은 양의 데이터가 생성되고 있다. 빅데이터는 기존 데이터 베이스 관리 도구로는 관리 하기 어려운 규모와 다양성을 가진 데이터를 말한다. 넓은 의미로 빅데티어는 대량의 정형 또는 비정형 데이터 집합에서 가치를 추출하고 분석하는 기술을 뜻하기도 한다.
정형 데이터: 표와 같은 구조화된 데이터로 데이터의 속성 값이 구분 정리된 데이터이다.
비정형 데이터: 이미지, 사운드, 비디오, 텍스트 등 구조가 복잡하여 행과 열로 표현되지 않고 형태가 불규칙한 데이터를 말한다.
빅데이터를 활용하면 개인에게 최적화된 맞춤형 서비스 제공이 가능하며, 다양한 데이터를 결합하여 새로운 의미와 가치를 도출할 수 있다.
빅데이터의 특징
빅데이터는 다양성(Variety) 측면에서 구조화된 정형 데이터뿐만 아니라, 구조화되지 않은 다양한 문자, 이미지, 사운드, 비디오 등의 비정형 데이터까지 포함된다. 빅데이터는 이러한 '3V'의 특성을 바탕으로 의사 결정에 도움을 줄 수 있는 신뢰할 수 있는 정보를 제공하는 등 유의미한 가치가 있다.
3V
빅데이터의 핵심적인 3가지 특성을 나타내는 개념
Volume(용량)
Velocity(속도)
Variety(다양성) 3V
Veracity(정확성)4V
Value(가치)5V
정확성과 가치를 추가하여 5V로 나타내기도 한다.
빅데이터는 일반적으로 세가지 특징이 있다. 첫째, 데이터의 규모(용량, Volume)가 매우 크고 둘째, 데이터의 형태가 다양하며 셋째, 매우 빠른 속도(Veriety)로 생성되는 데이터를 실시간으로 저장, 분석, 처리할 수 있다.
직접수집, 공공 데이터 및 민간 데이터 활용
직접 수집
직접 관찰이나 실험 결과 등을 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 기기의 센서를 통해 데이터를 수집할 수 있다. 또한, 질문에 응답하는 방식의 서문 조사나 인터뷰 등을 진행하여 데이터를 수집할 수있다. 이때, 개인 정보나 저작권 등 윤리적 문제와 측정 방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야 한다. 직접 이미지를 촬영하거나, 소리를 직접 녹음하고, 인터넷 검색을 통해 제공되는 데이터를 직접 수집하는 것도 한 방법이다.
공공 데이터 및 민간 데이터 활용
모든 국민이 자유롭게 활용할 수 있도록 온라인상에서 파일 데이터 오픈 API,
시각화 등 다양한 형태로 개방되고 있다.
예를 들어, 기온, 강수량, 장마, 온실가스, 자외선 등 다양한 공공 데이터가 공개 되어 있고, 공개된 데이터를 활용하면 선택한 지역의 강수량, 습도, 바람, 미세먼지 등을 편리하고 쉽게 확인할 수 있는 소프트웨어를 개발할 수 있다.
(마인드맵 60쪽)학생의 디지털 기반 진로활동 요구도에 대해 조사해 보았다
순서대로
진로심리검사 50.7 14.3 36.4 43.4 19.9 23.5 48.5 19.3 29.1
진로체험 78.5 61.2 17.3 68.9 45.8 23.2 60.7 38.7 22.0
진로상담 21.2 6.7 14.5 32.2 11.2 20.9 33.1 14.8 18.3
창업가정신 함양 및 창업체험 교육 22.4 6.0 16.4 18.6 4.6 14.0 18.9 6.5 12.3
수업 중 진로탐색 27.2 11.8 15.4 36.9 18.5 18.4 38.9 20.6 18.3
전체 1순위 2순위 전체 1순위 2순위 전체 1순위 2순위
초중고 순
확실히 진로 체험의 선호도가 전체적으로 높게 나왔다.
문제 해결에 필요한 데이터 수집
데이터를 활용한 문제 해결 과정
문제 상황 이해 > 문제 정의 >데이터 수집 및 전처리 > 데이터 시각화 및 해석 >공유 및 평가
데이터 수집 방법은 다양하다. 스마트 기기를 활용한 센서 데이터 수집과 다양한 형태의 설문지를 활용한 직접 수집 방법, 공개된 공공 데이터나 민간 데이터 활용 방법 등이 있다.
데이터를 활용해 문재를 해결하기 위해서는 문제 해결에 적합한 데이터 수집이 필요하다. 해결하고자 하는 문제에 따라 필요한 데이터가 다르므로 데이터의 주제와 데이터의 속성을 고려하여 수집해야 한다. 또한 문제 해결에 필요한 데이터를 수집하는 과정에서 개인 정보가 포함되거나 저작권을 침해하지는 않는지 윤리적 문제를 고려해야 한다.
데이터 전처리
데이터의 품질을 향상시키기 위해 데이터를 정제 및 변환시키는 과정이다.