Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집 1512 박선유 - Coggle Diagram
빅데이터와 데이터 수집 1512 박선유
문제 해결에 필요한 데이터 수집
직접 수집: 직접 관찰이나 실험 결과 등을 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 기기의 센서를 통해 데이터를 수집할 수 있다.
질문에 응답하는 방식의 설문 조사나 인터뷰 등을 진행하여 데이터를 수집할 수 있다.
*개인 정보나 저작권등 윤리적 문제와 측정 방법이나 실험 환경 등에 따라 오차가 발생할 수 있음을 고려해야 한다.
직접 이미지를 촬영하거나, 소리를 직접 녹음하고, 인터넷 검색을 통해 제공되는 데이터를 직접 수집하는 것도 한 방법이다.
온라인 설문 플랫폼을 이용해서도 쉽게 설문 조사를 진행할 수 있다.
공공 데이터:공공 기관이 생성 또는 취득하여 관리하는 전자적 방식으로
처리되는 데이터로, 국민의 알 권리를 보장하고 편리함을 높이는 데 활용된다.
모든 국민이 자유롭게 활용할 수 있도록 온라인상에서 파일 데이터, 오픈 API,
시각화 등 다양한 형태로 개방되고 있다.
민간 데이터:공공 기관이 아닌 개인이나 기업 등에서 생성하고 관리하는 데이터로, 텍스트, 수치, 이미지, 동영상, 오디오 등 다양한 형태가 있다.
ex) 기온, 강수량, 장마, 온실가스, 자외선 등 다양한 공공 데이터가 공개되어 있고, 공개된 데이터를 활용하면 선택한 지역의 강수량, 습도, 바람, 미세먼지등을 편리하고 쉽게 확인할 수 있는 소프트웨어를 개발할 수 있다.
민간 데이터를 활용하면?
-도서 쇼핑몰에서 구매자의 이전 구매 기록, 구매자의 평점기록, 연령대, 성별 등을 고려하여 도서를 추천해주는 것이 가능하다.
포털 사이트에 많이 검색된 키워드를 시기별, 연령별, 지역별 등으로 분석하여 여러 정보를 제공해 주기도 한다.
공공 데이터 포털:문화, 해양, 역사, 산업, 과학기술, 정부 오픈 API, 학술 데이터 등의 검색을 제공한다.
국가 통계 포털:인구, 물가, 소득, 경제 활동,사망 원인, 출산율, 실업률,GDP 등 국내 통계뿐만 아니라 국제·북한의 주요 통계 데이터를 제공한다.
행정안전부:e-나라지표, 주민등록 인구통계, 행정 안전 통계 시각화등을 제공한다.
API:다른 소프트웨어와 상호 작용하기 위한 일련의 규칙과 명세를 뜻한다.
데이터를 활용한 문제 해결 과정
문제 상황 이해
문제 정의
데이터 수집 및 전처리
데이터 시각화 및 해석
공유 및 평가
문제 해결을 위해 필요한 데이터 알아보기
학교 도서관 활성화
학생 이용률: 일별·주별 도서관 방문자 수
대출 도서 통계: 인기 장르, 대출 횟수, 반납 지연률
도서관 운영 시간: 이용자 피크 시간대 파악
급식의 질 개선
학생 만족도 조사 결과: 맛, 영양, 위생, 다양성에 대한 평가
잔반량 통계: 메뉴별 남은 음식량
식단 구성 내역: 영양 균형, 알레르기 유발 식품 포함 여부
학생 선호 메뉴 분석: 자주 선택되는 음식, 기피 음식 등
복지 시설 장소 선정
인구 분포: 대상 인구(노인, 장애인, 아동 등)의 밀집 지역
기존 복지 시설 분포: 인근 시설 위치 및 서비스 중복 여부
교통 접근성: 대중교통, 도로 접근성, 이동 편의성
지역 수요 조사: 주민 요구도 및 미충족 복지 서비스
진로 탐색
학생 흥미 및 적성 검사 결과
직업별 정보: 직무 내용, 필요 역량, 근무 환경, 전망
학과 및 교육과정 정보: 관련 전공, 자격증, 진학 경로
취업 통계: 직업별 취업률, 평균 연봉, 고용 전망
건강 관리
신체 검사 결과: 키, 몸무게, 체질량지수(BMI), 시력, 혈압 등
건강검진 기록: 혈액검사, 소변검사, 이상 소견 여부 등
운동 및 활동량: 일일 걸음 수, 운동 시간 등
수면 패턴: 수면 시간, 수면의 질
스트레스 및 정신건강 상태: 심리 검사 결과, 상담 기록 등
빅데이터의 개념
빅데이터:기존 데이터베이스 관리 도구로는 관리하기 어려운 규모와 다양성을 가진 데이터
넓은 의미: 빅데이터는 대량의 정형 또는 비정형 데이터 집합에서 가치를 추출하고 분석하는 기술을 뜻하기도 한다.
정형 데이터:표와 같은 구조화된 데이터로 데이터의 속성과 데이터 값이 구분·정리된 데이터
비정형 데이터:이미지, 사운드, 비디오, 텍스트 등 구조가 복잡하여 행과 열로 표현되지 않고 형태가 불규칙한 데이터
빅데이터의 특징
첫째, 데이터의 규모가 매우 크고 둘째, 데이터의 형태가 다양하며 셋째,매우 빠른 속도로 생성되는 데이터를 실시간으로 저장, 분석, 처리할 수 있다.
빅데이터는 다양성 측면에서 구조화된 정형 데이터뿐만아니라, 구조화되지 않은 다양한 문자, 이미지, 사운드, 비디오 등의 비정형 데이터까지 포함
빅데이터 활용 사례
교통 데이터를 바탕으로 최적의 대중교통 노선과 배차 간격 등을 제시할 수 있다.
의료 건강 관련 분야에서는 신체 데이터를 수집 및 분석하여 운동이나 질병 예방 서비스를 개발할 수 있다.
유통 분야에서는 고객의 관심 상품 목록과 구매 이력 등을
통해 소비 패턴을 분석하여 상품 배치 및 광고 내용을 결정할 수 있다.
교육 분야에서는 학생들의 학습 데이터를 분석하여 맞춤형 교육 프로그램 개발이 가능하다.
빅데이터를 활용하면 개인에게 최적화된 맞춤형 서비스 제공이 가능
다양한 데이터를 결합하여 새로운 의미와 가치를 도출할 수 있음