Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집 1511 박구름 - Coggle Diagram
빅데이터와 데이터 수집
1511 박구름
빅데이터
개념: 기존 데이터베이스 관리 도구로는 관리하기 어려운 규모와 다양성을 가진 데이터를 말한다. 넓은 의미로 빅데이터는 대량의 정형 또는 비정형 데이터 집합에서 가치를 추출하고 분석하는 기술을 뜻하기도 한다.
*정형 데이터: 표와 같은 구조화된 데이터로 데이터의 속성과 데이터 값이 구분 • 정리된 데이터이다.
*비정형 데이터: 이미지, 사운드, 비디오, 텍스트 등 구조가 복잡하여 행과 열로 표현되지 않고 형태가 불규칙한 데이터를 말한다.
*3V: 빅데이터의 핵심적인 3가지 특성을 나타내는 개념
-Volume(용량)
-Velocity (속도)
-Variety(다양성)
-Veracity(정확성)
-Value(가치)
정확성과 가치를 추가하여 5V로 나타내기도 한다.
*데이터 과학: 컴퓨터 공학, 수학, 통계학 등이 융합된 분야로, 다양한 데이터 속에 담긴 패턴을 찾아내고, 진단 및 예측에 도움이 되는 정보를 발굴하는 과학적 방법론이다. 데이터를 처리하고 분석하면 예측 모델, 추천 시스템 등을 생성하는 데 활용할 수 있다.
*데이터를 활용한 문제 해결 과정:
문제 상황 이해
문제 정의
데이터 수집 및 전처리
데이터 시각화 및 해석
공유 및 평가
*데이터 전처리: 데이터의 품질을 향상시키기 위해 데이터를 정제 및 변환하는 과정이다.
*데이터의 속성: 데이터의 특성을 말하며, 다른 것과 구별할 수 있는 성질이다. 예를 들어 학생 데이터의 속성에는 이름, 학년, 반, 번호, 성별, 전화번호, 선택 과목 등이 있다.
*결측치와 이상치: 데이터에 값이 누락된 것을 ‘결측치’라고 한다. 설문에 응답하지 않은 문항이 있거나, 측정되지 않은 시기나 항목이 있 을 때 발생할 수 있다.
일반적인 데이터 범위에서 크게 벗어나 아주 작은 값이나 큰 값을 가지는 데이터를 '이상치'라고 한다.
*공공 데이터 포털(
https://www.data.go.kr/
): 문화, 해양, 역사, 산업, 과학 기술, 정부 오픈 AP, 학술 데이터 등의 검색을 제공한다.
*국가 통계 포털(
https://kosis.kr/
): 인구, 물가, 소득, 경제 활동, 사망 원인, 출산율, 실업률, GDP 등 국내 통계뿐만 아니라 국제 • 북한의 주요 통계 데이터를 제공한다.
*행정안전부(
https://www.mois.go.kr/
): e-나라지표, 주민등록 인구 통계, 행정 안전 통계 시각화 등을 제공한다.
*API(Application Pro-gramming Interface): 다른 소프트웨어와 상호 작용 하기 위한 일련의 규칙과 명세를 뜻한다.
특징: 빅데이터는 일반적으로 세 가지 특징이 있다.
첫째, 데이터의 규모 (용량, Volume)가 매우 크고 둘째, 데이터의 형태가 다양하며 셋째, 매우 빠른 속도(Velocity)로 생성되는 데이터를 실시간으로 저장, 분석, 처리할 수 있다.
빅데이터는 다양성(Variety) 측면에서 구조화된 정형 데이터뿐만 아니라, 구조화되지 않은 다양한 문자, 이미지, 사운드, 비디오 등의 비정형 데이터까지 포함한다. 빅데이터는 이러한 '3V'의 특성을 바탕으로 의사 결정에 도움을 줄 수 있는 신뢰할 수 있는 정보를 제공하는 등 유의미한 가치가 있다.
활용 사례: 빅데이터는 다양하게 활용된다. 예를 들어, 교통 데이터를 바탕으로 최적의 대중 교통 노선과 배차 간격 등을 제시할 수 있다.
의료 건강 관련 분야에서는 신체 데이터를 수집 및 분석하여 운동이나 질병 예방 서비스를 개발할 수 있다. 유통 분야에서는 고객의 관심 상품 목록과 구매 이력 등을 통해 소비 패턴을 분석하여 상품 배치 및 광고 내용을 결정할 수 있다. 또한 교육 분야에서는 학생들의 학습 데이터를 분석하여 맞춤형 교육 프로그램 개발이 가능하다.
이처럼 빅데이터를 활용하면 개인에게 최적화된 맞춤형 서비스 제공이 가능하며, 다양한 데이터를 결합하여 새로운 의미와 가치를 도출할 수 있다.
문제 해결에 필요한 데이터 수집
데이터를 활용해 문제를 해결하기 위해서는 문제 해결에 적합한 데이터 수집이 필요하다. 해결하고자 하는 문제에 따라 필요한 데이터가 다르므로 데이터의 주제와 데이터의 속성을 고려하여 수집해야 한다. 또한 문제 해결에 필요한 데이터를 수집하는 과정에서 개인 정보가 포함되거나 저작권을 침해하지는 않는지 윤리적 문제를 고려해야 한다.
방법: 스마트 기기를 활용한 센서 데이터 수집과 다양한 형태의 설문지를 활용한 직접 수집 방법, 공개된 공공 데이터나 민간 데이터 활용 방법 등이 있다.
직접 수집
직접 관찰이나 실험 결과 등을 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 기기의 센서를 통해 데이터를 수집할 수 있다.
또한, 질문에 응답하는 방식의 설문 조사나 인터뷰 등을 진행하여 데이터를 수집할 수 있다.
유의사항:
개인 정보나 저작권 등 윤리적 문제와 측정 방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야 한다. 직접 이미지를 촬영하거나, 소리를 직접 녹음하고, 인터넷 검색을 통해 제공되는 데이터를 직접 수집하는 것도 한 방법이다.
공공 데이터 및 민간 데이터 활용
공공 데이터
공공 데이터는 공공 기관이 생성 또는 취득하여 관리하는 전자적 방식으로 처리되는 데이터로, 국민의 알 권리를 보장하고 편리함을 높이는 데 활용된다.
특징: 데이터는 모든 국민이 자유롭게 활용할 수 있도록 온라인상에서 파일 데이터, 오픈 API, 시각화 등 다양한 형태로 개방되고 있다.
예를 들어, 기온, 강수량, 장마, 온실가스, 자외선 등 다양한 공공 데이터가 공개 되어 있고, 공개된 데이터를 활용하면 선택한 지역의 강수량, 습도, 바람, 미세먼지 등을 편리하고 쉽게 확인할 수 있는 소프트웨어를 개발할 수 있다.
민간 데이터
민간 데이터는 공공 기관이 아닌 개인이나 기업 등에서 생성하고 관리하는 데이터로, 텍스트, 수치, 이미지, 동영상, 오디오 등 다양한 형태가 있다.
특징: 민간 데이터를 활용하면, 도서 쇼핑몰에서 구매자의 이전 구매 기록, 구매자의 평점 기록, 연령대, 성별 등을 고려하여 도서를 추천해주는 것이 가능하다. 포털 사이트에 많이 검색된 키워드를 시기별, 연령별, 지역별 등으로 분석하여 여러 정보를 제공해 주기도 한다.
해 보기2 문제 해결을 위해 필요한 데이터 알아보기
해결해야 할 문제와 필요한 데이터:
학교 도서관 활성화
-청소년 독서율 및 도서관 이용 통계 (서울 열린 데이터 광장, 국가 통계 포털)
-인기 도서 검색어 및 트렌드 (네이버 데이터랩)
-해외 학생 도서관 활용 사례 (레딧)
급식의 질 개선
-학교 급식 위생 및 영양 정보, 잔반량 통계 (공공 데이터 포털)
-청소년 영양 상태 데이터 (보건 의료 빅데이터 개방 시스템)
-급식 메뉴 선호도 키워드 트렌드 (네이버 데이터랩)
-학생들의 급식 개선 요구 사례 (레딧)
복지 시설 장소 선정
-공공시설 위치, 이용률, 공간 혼잡도 (서울 열린 데이터 광장)
-학교 내 복지시설 정책 및 통계 (공공 데이터 포털)
-공간 최적화 분석 사례 (캐글)
-학생 의견 기반 시설 아이디어 (레딧)
진로 탐색 지원
-청소년 진로 희망 통계 및 진학/취업 정보 (국가 통계 포털)
-진로 체험 참여 데이터 (공공 데이터 포털)
-인기 직업군 키워드 검색량 (네이버 데이터랩)
-진로 추천 모델 및 직업별 분석 예시 (캐글)
건강 관리
-청소년 건강검진 결과, 비만율, 운동량 (보건 의료 빅데이터 개방 시스템, 국가 통계 포털)
-건강 관련 키워드 트렌드 (예: 수면, 운동, 다이어트) (네이버 데이터랩)
-건강 예측 및 습관 분석 모델 (캐글)