Please enable JavaScript.

Coggle requires JavaScript to display documents.

빅데이터 기사 - Coggle Diagram

- - - - (콘텐츠 데이터) 이미지 / 영상 / SNS웹 데이터
        
        Crawling / API / RSS
    - - 데이터베이스
        
        ETL
      - 리포트 데이터
    - - iot 센서 데이터, HTML, JSON, XML
      - 데이터 구조 정보를 함께 제공하는 형식(형식과 구조 변경 가능)
      - 수집 기술 : streaming, sensing, scribe
        
        flume : 로그 데이터 효율적 수집 다양한 유형의 스트리밍 데이터 수집
        
        Scrapy : python 기반 오픈소스 api이용 문서수집, 정제, 적재가능
  - - - NOSQL 데이트 베이스(HBASE, MONGGODB, CASSANDRA)
  - - - 원천에서 추출한 데이터를 저장하기 위해 필터링 / 유형변환 / 정제
      - 분석 전문가들은 실무에서 전처리 과정에 70~80% 시간 소요
      - 데이터를 분석하기 전 데이터를 정제하고 변수 처리
        ㄴ 정제과정 : 데이터 오류 원인 분석 > 데이터 정제 대상 선정 > 데이터 정제 방법 결정
        ㄴ삭제, 대체, 예측값 삽입
        ㄴ모든 데이터 상대 / 품질 저하의 위협 노출 데이터 우선 정제(비정협/반정협, 외부 데이터)
      - 데이터 전처리 과정은 모든 데이터 분석 과정에서 반드시 거치는 필수 과정
    - - 장점
        
        적합한 하위 집합 선택으로 모델 성능 개선
        
        데이터의 과적합을 방지하여 일반화 성능 향상
        
        중복된 데이터 사전 제거되어 머신 러닝 알고리즘 학습 속도가 빨라짐
      - 기법
        
        임베디드 기법 : 모델 자체에 변수 선택 알고리즘 포함. 모델 학습 및 생성 과정에 최적 변수 선택
        
        래퍼기법 : 하위 집합을 반복하여 선택하는 방법, 변수의 일부만을 모델링에 사용하고 그 결과를 확인
        
        단계적 기법 : 래퍼 기법에서의 변수 선택 알고리즘의 하나
        
        필터 기법 : 모델 적용 전 변수들을 걸러내는 방법으로 전처리 수행 고정, 데이터 통계적 측정 방법(통계적 추론 - 모수가 신뢰구간 필요 x)
        
        REF : 모델 정확도에 기여하는 변수를 학습하고 점더 적게 계수를 가지는 회귀식을 찾는 방향
        
        과대표집(OVER SAMPLING)
        ㄴ 각 클래스별 데이터 양에 차이가 있어 클래스 불균형이 있는 경우, 모델의 정확도 향상을 위해 처리하는 기법
        ㄴ 과소표집에 비해 높은 분류 정확도를 가지며 알고리즘의 성능이 높다
        ㄴ 기존 데이터를 복제하는 방법을 통해 클래스의 비율을 맞추기 때문에 과적합 문제가 발생할 수 있다.
        과소표집(UNDER SAMPLING)
        ㄴ 데이터의 소실이 크고 중요한 정상 데이터를 잃게 될 수 있다.
        
        단층 퍼셉트론 : OR, AND, NAND 다층 : XOR (연산)
        
        배깅/부스터
        
        배깅
        배깅은 부스터에 비하여 병렬처리가 편함, 배깅은 사이즈 작거나 결측값
        투표방식/회귀시 평균/ 앙상블 기법
        부스터
        부스터는 샘플링 수행시 오분류 데이터 높은 가중치
      - 유형
        
        순서형 변수 : 범주형 명사형으로 이름에 의미를 갖지만 어떤 기준에 따라 순서 의미를 부여
        
        이산형 변수 : 수치형으로 변수가 취할 수 있는 값을 하나하나 셀 수 있다(엔트로피/지니/카이제곱 - 연속형).
        
        연속형 변수 : 수치형으로 변수가 구간 안에서 모든 값을 가질 수 있다.
        
        명목형 변수 : 범주형 변수나 변수의 크기가 순서와 상관이 없고 이름만 의미를 부여할 수 있는 경우
        ㄴ EX) SUV, 승용차, 경차 구분, 남자는1 여자는 2
        ㄴ 카이제곱(교차분석) - 디지분석 의사결정 알고리즘(CHAID) - 데이터가 특정 확률을 따르지 않는 경우
        
        파생변수 : 기존 변수에 특정 조건 혹은 함수등을 사용하여 새롭게 재정의한 변수
        ㄴ 수량 단위 변환 / 문자열에서 앞의 세글자로만 구성 / 속성이 다른 두 지표를 나눔
        ㄴ EX) 주민등록번호 나이와 성별 키와 뭄무게 BMI 지수 > BMI지수에 따른 체중 변수 생성
        
        더미 변수화 : 각 변수 값을 다른 열로 바꾸어 값이 없는 경우 0 있는 경우 1
        
        스켈일링 : 데이터를 특정 구간으로 바꾸는 척도법으로, 정규화 기법 사용
        
        비닝 : 연속형 데이터를 범주형 데이터로 변환하기 위해 사용되는 기법 (최소 - 최대, z스코어 정규화 )
        
        의사결정 나무 : 종속변수가 연속형(분산의 감소량)
      - 특징
        
        차원축소 : 독립 변수 간의 강한 상관관계가 있는 경우 다중 공선성이 발생하여 모델의 정확도와 신뢰성이 떨어짐
        
        독립변수 (영향x, 연구자 의도적) -연속형, 범주형
        종속변수(독립변수 변화에 따름)- 범주형
        둘이 서로 인과관계
        
        변수는 속송에 따라 범주형과 수치형으로 구분할 수 있다.
        ㄴ 범주형은 명목형과 순서형이 있고, 수치형은 이산형과 연속형이 있다.
        
        이산형 : 각 사건의 성공할 확률이 일정 독립적인 특수한 상황(베르누이)
        
        인과관계 : 원인과 결과 사이의 관계
        상관관계 : 두 현상이 관계를 가지고 있지만 원인은 알수가 없다(인과 관계는 알수 없다)
        ㄴ 두개 이상의 변수 사이에 존재하는 상호 연관성의 존재 여부와 연관성의 강도를 측정하여 분석
      - 탐색
        
        개별변수 탐색방법
        ㄴ 범주형 데이터 : 빈도수, 최빈값, 비율, 백분율 등을 이용하여 데이터 분포 특성을 중심성, 변동성 측면 파악(명목 척도, 서열 척도, 등간 척도, 비율척도, 등간 척도)
        ㄴ 질적 데이터 : 명도 척도와 순위 척도에 대해 데이터 탐색
        ㄴ 수치형 데이터 : 평균, 분산, 표준편차, 첨도, 왜도 등을 이용하여 데이터 분포 특성을 정규성 측면에서 파악
        
        탐색 플랫폼
        
        준비단계 : 정의 / 설계 / 준비
    - - 기술통계 : 수치화 중심(도표)
        ㄴ수집한 데이터를 요약 묘사 설명하는 통계 기법
        시각화 : 육안을 활용한 직관전 자료 탐색
        추리통계 : 수집한 데이터 바탕 추론 및 예측
        
        관계 시각화 : 버블 차트, 히스토그램
  - - - 저항성 : 수집된 자료에 결측값 또는 이상값이 있을 때에도 영향을 적게 받는다
        잔차 해석 : 관찰값들이 주 경향으로부터 벗어난 정도
        자료 재표현 : 데이터 분석과 해석을 단순화 원래 변수를 적당한 척도(로그, 제곱근, 역수) 변환
        현시성 : 데이터 분석 결과를 쉽게 이해할 수 있도록 시각적으로 표현 전달
    - - 막대형 그래프 : 많고 적음 / 서로 떨어짐
    - - 코로플레스(등치지역도/색상색칠/영역별 데이터표현)
        버블 플롯맵(위도와 경도)
      - k-최근접, 라쏘, 인공신경망
        
        인공신경망(신경층(연속형, 범주형), xor문제 해결 불가, 시그모이이드 인닉층 여러개
    - - 일변량 데이터 탐색 : 박스플롯, 기술통계량, 그래프 통계량 평균, 분산, 표준편차
        이변량 데이터 탐색 : 두개의 특성 동시 관측
        다변량 데이터 탐색 : 분석 시행 전 행렬, 별그림, 등고선, 그림
    - - HDFS : 마스터 슬레이브 분산형 시스템
        AVRO : 이기종간 데이터 타입 교환
        HIVE : SQL 유사구조 쿼리시행 데이터 웨어하이징 솔루션
        주키퍼 : 노드 정보 공유, 이벤트 보조 기능
    - - 조건 : 표본평균 / 표본분산 / 중위수 / 최빈값
      - p-값 : 귀무가설 참이라는 가정에 따라 데이터 희속 또는 극한값으로 얻음
      - 가설검증 : 가설설정 > 검정의 유의수준을 결정 > 검정 통계량 계산
        
        유의 수준 : a의 값을 가짐
        
        1종 오류 : h0가 사실일때 h0가 사실이 아니라고 판정(p-값)
        
        p값이 작으면 귀무가설 기각 / p값이 크면 귀무가설
    - - 회귀분석 : 독립성 보장 / 잔차가 독립성 만족 / 회기식 잔차 a2인 정규성 만족
        ㄴ 개별 회귀 계수 검정 : F-통계량
        ㄴ 절정 계수 = 분산의 비율
      - 로지스틱 회귀 분석 : 종속변수는 범주형 데이터
        ㄴ 선형 확률 모형(0~1)
      - 연관성분석 : 향상도
        
        apriori(연관 규칙)
        향상도
      - 서포터백신머신(벡터/서포트벡터/결정영역
      - 부스팅 - gbm, xgboost, light gbm
      - 의사결정나무 - 앙상블(랜덤포레스트) - 랜덤 변수 선택 배깅 - 앙상블을 모형 성능은 올라가나 설명력은 떨어짐(해석 시 부적합)
      - 요건 정의 단계 : 요구 사항 도출 확정 분석 추진
        모델링 : 데이터 수집 전처리 / 데이터 분석 / 모델링 성능 평가 반복
      - 모집단
        
        두 집단 차이 : t, f, 분산 분석
        두집단 비교 : z검정
      - 스태킹 : 분석 모형 만든후 각 분석 모형의 예측값 독립변수 최종 예측 모형
    - - Z[검정 : 정규분포 / 귀무가설 평균=모집단평균 / 독립적 / 모집단 분산 알야함
    - - k-평균 군집합
- - - - 분석 유스케이스를 활용
      - 외부 참조모델 기반
      - 비지니스 모델 기반으로 모델 탐색