Please enable JavaScript.

Coggle requires JavaScript to display documents.

Section.1 Review, Non-parametic 모집단에 대해 분포 형태를 가정할 수 없는 경우 이에 대한 가정을…

- - - - merge
        : 합친다. 공통된 부분만 남기거나 등등
        다양한 방법으로 가능
        .merge(df, how = , on = )
      - concat
        : 갖다 붙인다. 값이 없으면 결측치로 남음
        pd.concat()
      - pivot()
        
        stack(), unstack()
        
        melt()
        
        wide_to_long()
        
        pd.crosstab()
    - - Categorical to Numerical
        : pd.get_dummies()
        : from sklearn preprocessing import LabelEncoder
        : from sklearn.preprocessing import OneHotEncoder
- - - - Matrix Calculation
        
        Multiplication : np.matmul(A, B)
        
        Determinant(행렬식)(det(A) / |A|) : np.linalg.det(A)
        : 행렬식이 0이면 특이행렬, inverse가 없음, 단위행렬의 행렬식은 1
        
        Transpose
        
        Inverse Matrix : np.linalg.inv(a)
    - - Rank
        : 매트릭스의 열을 이루고 있는 벡터들로 만들 수 있는 공간(span)의 차원
        : basis -> span -> span's dimension
        : 가우스 소거법
        : np.linalg.matrix_rank()
        
        vector
        transformation
        
        Linear Projection (선형투영)
        : 사라진 feature의 정보를 잃을 수 있음
        : but 데이터 저장의 메모리 효율이 좋아짐
        : 𝑝𝑟𝑜𝑗 B(A) 는 Projection of A onto B
        
        Dimension Reduction
        : Feature Selection
        : Feature Extraction
        
        PCA(Principle Components Analysis)
        : from sklearn.preprocessing import StandardScalar
        : from sklearn.decomposition import PCA
        
        데이터를 target(예측하고자 하는 목표)와 이를 예측하기 위한 모든 feature로 나눔
        
        row - 평균 : 각 row의 평균값이 0이 됨 (스케일 조정)
        
        표준화(standardizing) - z매트릭스 생성
        
        z매트릭스의 분산/공분산 매트릭스 계산
        
        분산/공분산 매트릭스의 고유벡터, 고유값 계산
        
        고유값, 고유벡터 쌍을 크기에 따라 정렬 (PC의 순서를 정함)
        
        데이터를 고유 벡터에 projection시켜서 매트릭스를 변환시킴
        
        Scree plot
        : 몇 개의 PC를 사용할 것인가?
        : 고유값의 비율을 확인
        : 일반적으로 누적 7-80% 면 무난
        : 격하게 꺾인 이후 비슷한 비율을 보이면 중요하지 않은 components라고 생각할 수 있음
        
        Eigenvectors (고유벡터)
        : 회전축
        : 선형변환 이후에도 방향이 변하지 않음
        
        Eigenvalues (고유값)
        : 오직 크기만 변하는 고유 벡터
        : 이러한 고유벡터의 크기를 변화시키는 eigenvalues(스칼라 값)
        
        np.linalg.eig(matrix_A) >> (고유값, 고유벡터) 출력
        
        Why need transformation ?
        : feature handling
        : The curse of dimensionality
        : Overfitting Issue
- - - - Parametic
        
        모집단이 특정한 분포를 따른다는
        가정하에 모수에 대해 추정
        
        크기의 차이를 제시할 수 있음
        
        T-test
        : 데이터의 평균을 사용하여 가설검정 시행
        
        One sample
        : stats.ttest_1samp
        
        H0 : 관측값 == 기대값
        H1 : 관측값 < , > 기대값
        
        기각력이 한쪽에만 존재
        (p-value / 2)
        
        Two sample
        : stats.ttest_ind
        
        H0 : 관측값 == 기대값
        H1 : 관측값 != 기대값
        
        기각력이 양쪽에 존재
        
        [ANOVA test (분산분석)]
        
        여러 그룹간 평균의 차이가
        통계적으로 유의미한지 판단
        
        그룹의 수가 2개 이상일 때 사용
        
        One-way ANOVA
        
        종속변인 1, 독립변인 1
        
        한가지 변수의 변화가 결과가
        변수에 미치는 영향을 보기위해
        : stats.f_oneway(df['1'], df['2'], df['3'])
        : Ordinary Least Squares(OLS) model 도 있음
        
        H0 : 그룹 간 평균값이 같을 것이다.
        H1 : 그룹 간 평균값이 같지 않을 것이다.
        
        Two-way ANOVA
        
        독립변인이 2개 이상
        
        집단 간 차이가 유의한지 판단
        
        한가지 변수의 변화가 결과에 미치는 영향이 다른 변수의 수준에 따라 달라지는지를 확인
        : statmodels 라이브러리 사용
        
        H0 : 독립변수 간 연관성이 없을 것이다.
        H1 : 독립변수 간 연관성이 있을 것이다.
      - H0 (Null Hypothesis)
        H1 (Alternative Hypothesis)
    - - 베이즈 정리 : 모집단 파라미터에 대한 믿음에 대한 추정
        (ex. 동전을 던져 앞 면이 나왔다는 주장의 신뢰도가 0.5 이다)
        
        True Positive Rate(민감도): 실제 사건이 일어났을 때 사건이 일어났다고 판단할 확률
        
        False Positive Rate(특이도, type1 error) : 실제 사건이 일어나지 않았지만 사건이 일어났다고 판단할 확률
        
        True Negative Rate : 실제 사건이 일어나지 않았고 사건이 일어나지 않았다고 판단할 확률
        
        False Negative Rate(type2 error) : 실제 사건이 일어났지만 사건이 일어났다고 판단할 확률
      - 사전 확률을 바탕으로 사후 확률을 얻는 것
        P(H|E) = P(H) P(E|H) / P(H) P(E|H) + P(!H) * P(E|!H)
        : Evidence가 True일 때, Hypothesis가 True일 확률
- - - - 계층적 트리모형
        
        Dendrogram을 사용해서
        원하는 클러스터 수 만큼 cutting
    - - K-means Clustering
        : 평균값을 기반으로 k개의 클러스터 형성
        
        임의의 중심점 설정
        
        distance 기반으로 클러스터 형성
        
        평균을 기반으로 새로운 중심점 계산
        
        위 과정 반복 수행
        
        from sklearn.cluster import KMeans
        
        Elbow meethod
        : 몇개의 클러스터(k)를 설정할 것인지 확인
        : 그래프를 그려서 기울기가 급격하게 바뀌는 부분 체크
- - - - 기저벡터 (Basis)
        : 선형관계에 있지 않은 벡터 모음
        : scalar가 scale하는 실제 대상이 basis
        
        Orthogonal Basis
        Orthonormal Basis