Please enable JavaScript.
Coggle requires JavaScript to display documents.
빅데이터와 데이터 수집
1422 정지현 - Coggle Diagram
빅데이터와 데이터 수집
1422 정지현
빅데이터의 이해
- 빅데이터
기존 데이터베이스 관리 도구로는 관리하기 어려운 규모와 다양성을 가진 데이터,넓은 의미로 대량의 정형 또는 비정형 데이터 집합에서 가치를 추출하고 분석하는 기술
-
-
3.매우 빠른 속도로 생성되는 데이터를 실시간으로 저장,분석,처리 기능(Velocity)
-
다양성 측면에서 구조화된 정형 데이터 뿐만아니라,구조화되지 않은 다양한 문자,이미지,사운드,비디오 등의 비정형 데이터까지 포함함.
-
-
문제 해결에 필요한 데이터 수집
- 데이터를 활용해 문제를 해결하기 위해서는 문제 해결에 적합한 데이터 수집이 필요,해결하고자 하는 문제에 따라 필요한 데이터가 다르다,그래서 주제와 데이터의 속성을 고려하여 수집해야 함.그리고 윤리적 문제도 고려해야 함.
직접 관찰이나 실험 결과등을 토대로 데이터를 수집하거나 피지컬 컴퓨팅이나 스마트 긱기의 센서를 통해 수집 가능,설문 조사,인터뷰등 여러가지 방법으로 직접 수집 가능.
- 문제 해결 과정
1.문제 상황 이해
2.문제 정의
3.데이터 수집 및 전처리
4.데이터 시각화 및 해석
5.공유 및 평가
공공 데이터
공공 기관이 생성 또는 취득하여 관리하는 전자적 방식으로 처리되는 데이터,국민의 알 권리를 보장하고 편리함을 높이는데 활용 됨.그리고 모든 국민이 자유롭게 활용 할 수 있도록 온라인상에서 파일 데이터,오픈 API,시각화 등 다양한 형태로 개방되고 있음.
ex)기온,강수량,장마,온실가스 등등
민간 데이터
공공 기관이 아닌 개인이나 기업 등에서 생성하고 관리하는 데이터로 다양한 형태가 있음,
ex)도서 쇼핑몰에서 구매자의 이전 구매 기록,구매자의 평점 기록,연령대,성별 등을 고려하여 도서 추천 가능.
-