Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집 1501 김나현 - Coggle Diagram
빅데이터와 데이터 수집 1501 김나현
문제 해결에 필요한 데이터 수집
해결하고자 하는 문제에 따라 필요한 데이터가 다르므로 주제와 속성을 고려하여 수집해야한다. 개인정보가 포함, 저작권 침해,
윤리적 문제를 고려해야한다.
직접 수집
관찰이나 실험결과를 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 기기의 센서를 통해 수집 가능 또한 설문 조사나 인터뷰 등을 진행하여 수집할수 있다. 개인정보, 저작권 등 윤리적 문제, 측정방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야한다. 직접촬영, 녹음, 검색을 통한 제공되는 데이터를 직접 수집하는 것도 한 방법이다.
데이터를 활용한 문제 해결 과정
문제 상황 이해-문제 정의-데이터 수집 및 전처리-데이터 시각화 및 해석-
공유 및 평가
결측치와 이상치
결측치-데이터에 값이 누락된 것
이상치-일반적인 데이터 범위에서 크기 벗어나 아주 작은 값이나 큰 값을 가지는 데이터
공공 데이터 및 민간 데이터 활용
공공데이터-공공 기관이 생성 또는 취득하여 관리하는 전자적 방식으로
처리되는 데이터
국민의 편리함 높이는데 활용, 자유롭게 활용가능
소프트웨어 개발 가능
민간 데이터-공공기관이 아닌 개인이나 기업 등에서 생성하고 관리하는
데이터로, 텍스트, 수치, 이미지, 동영상, 오디오 등 다양한 형태가 있다.
이전 구매 기록,연령대, 성별 등을 고려하여 도서 추천 가능, 포털 사이트에 많이 검색된 키워드를 분석하여 여러정보 제공
빅데이터의 이해
빅데이터의 개념
‘Data Never Sleeps’를 통해 알려졌다.사람들이 모바일, 웹 사이트 등에서 공유하는 텍스트, 이미지, 동영상, 키워드 검색 등으로 수많은 데이터가 만들어진 것을 나타낸 것이다.
빅데이터는 어려운 규모와 다양성을 가진 데이터를 말한다. 넓은 의미로 대량의 정형, 비정형 데이터 집합에서 가치를 추출하고 분석하는 기술을
뜻하기도 한다.
특징
데이터의 규모가 매우 크다, 형태가 다양하다, 매우 빠른 속도로 생성되는 데이터를 실시간으로 저장, 분석, 처리할수 있다.
의사 결정에 도움을 줄 수 있는 신뢰할 수 있는 정보를 제공하는 등 유의미한 가치가 있다.
3V-Volume(용량) Velocity(속도) Variety(다양성)
활용 사례
개인에게 최적화된 맞춤형 서비스 제공이 가능하며, 다양한 데이터를 결합하여 새로운 의미와 가치를 도출할 수 있다.
해보기)문제 해결을 위해 필요한 데이터 알아보기
학교 도서관 활성화-필요한 데이터,추천도서,이용자 수
급식의 질 개선-학생,선생님 선호 메뉴
복지 시설 장소 선택-행정 구역 인구 수,소득 수준,나이
진로 탐색-직업 정보, 대학 학과 소개
건강 관리-식습관,생활 활동