Please enable JavaScript.

Coggle requires JavaScript to display documents.

Section 2. Review, Machine Learning, Model Agnostic(Interpretation) :…

- - - - 계층적 트리모형
        
        Dendrogram을 사용해서
        원하는 클러스터 수 만큼 cutting
    - - K-means Clustering
        : 평균값을 기반으로 k개의 클러스터 형성
        
        임의의 중심점 설정
        
        distance 기반으로 클러스터 형성
        
        평균을 기반으로 새로운 중심점 계산
        
        위 과정 반복 수행
        
        from sklearn.cluster import KMeans
        
        Elbow meethod
        : 몇개의 클러스터(k)를 설정할 것인지 확인
        : 그래프를 그려서 기울기가 급격하게 바뀌는 부분 체크
- - - - 회귀문제
        Simple, Multiple, Ridge
        
        Simple Regression : 독립변수 X 와 종속변수 y의 상관관계를 모델링하고 예측값을 얻어낼 수 있는 회귀식을 사용해서 선을 그어 나타낸 것
        
        Baseline : 타겟의 평균값
        
        에러를 최소화하는 최적의 절편과 기울기를 찾기 위해 OLS(Ordinary Least Squares,
        최소제곱회귀)를 사용. 이는 곧 선형회귀
        회귀선은 잔차(residual, 예측값 - 관측값) 제곱의 합(RSS)를 최소화 하는 직선 : 비용함수
        
        Multiple Regression : 2개 이상의 feature로 예측값을 구하는 회귀모델
        
        Ridge Regression : 훈련데이터의 과적합을 막기 위해 고의적으로 덜 fit하게 만들어 줌 (ex. 샘플이 너무 적을 때, 로지스틱 회귀를 사용할 때)
        
        Ridge와 비슷하지만 다른 모델인 LASSO & Elastic Net Regression 도 있음
        
        Bias를 높여주면 Variance가 낮아짐,
        so 예측모델의 정확도를 높일 수 있음
        
        Hyperparameter(alpha)를 사용해서
        기울기 조정 : 너무 크게 조정하면 회귀계수들이 0이 됨..
        
        bias가 낮아서 과적합 되는 문제를 해결
        
        RidgeCV를 통한 최적의 패널티(alpha) 검증
        
        OLS와 비슷하지만 이상치 영향을 덜 받음
      - 분류문제
        Logistic, Ridge
        
        Logistic Regression : 샘플이 특정 범주에 속할 확률을 추정, 최대가능도(Maximum likelihood)를 사용
        
        Baseline : 타겟의 최빈값
        
        어떤 사건이 발생할 지를 직접 예측하는 것이 아니라 사건이 발생할 확률을 예측하는 것
        Hyper Parameter Tuning
        C (Inverse of regularization strength)
        class_weight
        penalty
        
        Interpretation
        
        로지스틱회귀의 계수는 비선형이라 해석하기가 어려움. Odds를 사용해서 선형결합 형태로 변환
        
        해당 특성이 변할 때, 로짓이 얼마나 변했는지 해석 가능
        
        Odds rate : 실패확률에 대한 성공확률의 비
        
        Odds에 로그를 취해서 로짓 변환
        
        로지스틱 회귀 모델의 회귀계수는 로짓변환 되어서 값을 주고, 이를 오즈비로 변환 후 odds 확률로해석할 수 있음 (exp(계수))
        
        평가지표
        
        Confusion Matrix
        : TP, TN, FP, FN
        
        Simple Accuracy :
        (TP + TN) / (TP + TN + FP + FN)
        
        Precision : 1로 분류된 것 중 실제 1은?
        TP / (TP + FP)
        
        Recall : 실제 1 중 1로 분류된 것은?
        TP / (TN + FN)
        
        F beta measure :
        (1+B²) x Precision x Recall / (B² x Precision) + Recall
        
        Threshold 조정을 통한 모델 성능 개선
        
        ROC curve / AUC score :
        ROC curve는 여러 임계값에 대해 TPR, FPR 그래프를 보여줌. 그 아래 면적이 AUC score(이진분류 문제에서 사용 가능)
        
        3-class(A, B, C) 문제 -> A vs (B,C), B vs (A,C), C vs (A,B) 로 나누어 수행
  - - - Decision Tree
        
        범주형, 숫자형 모두 처리 가능
        
        Root nodes >> Internal nodes >> Leaf nodes
        
        [비용함수 == 불확실성(impurity or entorpy)]를 감소하도록 학습
        
        Information Gain : 불확실성이 감소하는 것
        [부모노드 엔트로피] - [자식노드 엔트로피의 가중치 평균의 합]
        
        Hyperparameter Tuning :
        *min_samples_split
        *min_samples_leaf
        *max_depth
      - Ensemble
        : 여러 기본모델을 만들어서 각 모델의 예측 결과를 평균 혹은 다수결하여 예측하는 방법
        
        RandomForest
        : 결정트리를 기본모델로 사용하는 앙상블 방법
        
        Bagging
        
        Bootstrap 데이터셋(랜덤 복원추출로 트레이닝셋 추출, 나머지는 테스트용 OOB셋)
        
        k개의 특성 서브셋 랜덤으로 사용 : k개 안에서 최적의 특성을 찾아서 분할 시행
        
        Out of Bag으로 테스트 : out of bag error - 잘못 분류된 것의 비율
        
        모든 서브셋 트리에서 예측값을 받고 평균, 다수결을 통해 결과 도출 (Aggregating)
        
        결정트리에 비해 복잡하지만 정확성이 높음
        
        새로운 샘플이 왔을 때 flexible
        
        한 노드의 에러가 계속 영향을 주지 않음
        
        과적합을 피할 수 있음 : 샘플과 특성의 랜덤성
        
        Cross Validation
        
        K fold cv : 일반적으로 10 fold 많이 사용
        
        leave one out cv : 데이터 하나만 검증으로 사용
        
        hold-out cv
        : train/val/test 셋으로 나누어 학습
        : 데이터 수가 부족할 때 문제
        : 성능 예측의 부정확성 문제
        : 하이퍼파라미터 튜닝이 어려운 문제
        
        Model_selection
        : RandomizedSearchCV
        : GridSearchCV
        
        Hyper-Parameter Tuning
        
        최적화(Optimazation) :
        훈련데이터로 모델 성능을 끌어 올리는 것
        
        일반화(Generalization) :
        학습된 모델이 새로운 데이터에도 좋은 성능을 낼 수 있도록 하는 것
        
        class_weight (불균형(imbalanced) 클래스인 경우)
        
        max_depth (너무 깊어지면 과적합)
        
        n_estimators (적을경우 과소적합, 높을경우 긴 학습시간)
        
        min_samples_leaf (과적합일경우 높임)
        
        max_features (줄일 수록 다양한 트리생성)
        
        Boosting
        
        트리 앙상블
        
        랜덤포레스트보다 더 좋은 예측 성능을 보일 수 있지만, 하이퍼파라미터에 더 민감함
        
        Boosting Vs. Bagging
        
        랜덤포레스트(bagging)은 랜덤 샘플링 한 뒤 weak learner를 병렬적으로 학습 >> 각 트리모델을 독립적으로 만듦
        
        부스팅 모델은 램덤 샘플링 뒤 weak learner로 순차 학습 시킴 >> 배깅과 다르게 학습의 에러에 가중치를 두고 다음 학습 모델에 반영하여 강한 학습결과를 생성
        
        AdaBoost
        
        stump : 하나의 노드에 두개의 리프로 이루어진 트리
        
        각 stump에서 잘못 분류된 샘플 weight에 가중치를 두고 다음 stump를 학습
        
        잘못 분류된 샘플의 weight이 각 stump의 amount of say를 결정
        
        이전 stump의 에러가 다음 stump에 영향을 미침
        
        GradientBoosting
        
        회귀, 분류 문제 모두 사용
        
        AdaBoost와 마찬가지로 이전 트리의 에러에 따라 다음 트리를 결정
        
        AdaBoost와의 차이점은 가중치를 계산하는 방법, weak learner로 stump가 아닌 tree를 사용
        
        타겟의 평균값을 먼저 구하고
        
        잔차를 구하고
        
        구해진 잔차를 이용해서 다음 트리 학습
        
        잔차가 예측값으로 들어간 트리에 learning rate를 설정해서 다시 잔차를 구함
        
        잔차가 더 큰 데이터를 계속해서 학습하며 점점 잔차가 작아짐
        
        XGBoost
        
        결측값 수용
        
        monotonic constraints 강제
        
        %monotonic constraints : 특성과 타겟이 선형 관계인 것을 사전에 알고 확신할 때, 오류로 비단조 증가하는 것을 방지하기 위해 사용
        
        Hyperparameter Tuning
        
        scale_pos_weight
        
        max_depth
        
        n_estimators (early_stopping_rounds)
        
        learning_rate
        
        LightGBM
        
        결측값 수용
        
        monotonic constraints 강제
        
        CatBoost
        
        결측값 수용
        
        categorical features 전처리 없이 가능