Please enable JavaScript.

Coggle requires JavaScript to display documents.

Pythonで理解する統計解析の基礎 (回帰分析 (点推定 (最小二乗法 (作り方 (X = np.array([np.ones_like(x),…

- - - - モデルによる算出値
    - - 予測値と実際のデータとの差
    - - 残差を二乗して合計した値
    - - 残差二乗和を最小化させる方法
      - 作り方
        
        X = np.array([np.ones_like(x), x]).T
        beta0_hat, beta1_hat = np.linalg.lstsq(X, y)[0]
        y_hat = beta0_hat + beta1_hat * x
        eps_hat = y - y_hat
  - - - 質的変数を量的変数に変換
  - - - モデルの良さ
        
        当てはまりの良さ
        
        モデルがデータと適合しているか
        
        予測の良さ
        
        モデルが未知のデータに大してどれだけ予測できるか
        
        決定係数
        
        全変動
        
        回帰変動
        
        残差変動
        
        全変動= 回帰変動 +　残差変動 :recycle:
        
        自由度調整済み決定係数
        
        説明変数を追加した際に説明変数がある程度の説明力がない場合は増加しない
        
        F検定
        
        切片以外の回帰係数に関する仮説に行う検定
        
        用語
        
        尤度
        
        ある観測値えられる確率
        
        尤度関数
        
        確率pが未知の時の関数
        
        最尤推定法
        
        観測値にとって最も尤もらしい理由で母数pを推定する方法
        
        最尤推定量
        
        最尤推定法による推定量
        
        最尤推定値
        
        最尤推定法による推定値
        
        対数尤度
        
        尤度の対数
        
        ベイズ情報量規準(BIC)
        
        AICと類似した指標
        
        赤池情報量規準（AIC）
    - - 分布の左右対称さを測る指標
      - 作り方
        
        eps_hat = np.array(result.resid)
        stats.skew(eps_hat)
    - - 分布の尖り具合
      - 作り方
        
        stats.kurtosis(eps_hat, fisher=False)
    - - 異なる誤差項は互いに無相関であることをチェックする指標
- - - - 帰無仮説
        
        H0
      - 対立仮説
        
        H1
    - - 帰無仮説を棄却する
      - 帰無仮説を採択する
    - - 標本から珍しい値が算出される事
    - - 棄却域
        
        帰無仮説が棄却される区間
      - 採択域
        
        採択される区間
    - - 棄却域に入る確率
    - - 棄却域に入る閾値
    - - 検定統計量より左側の領域
  - - - rv.interval(0.95)
  - - - 誤検出
        
        制御できる
    - - 検出漏れ
        
        制御できない
  - - - 対応がある
        
        ２つのデータが同一の個体を異なる条件で測定したデータになっている事
      - 対応がない
        
        ２つのデータで個体が異なるデータになっている事
    - - データに対応があり差に正規分布を仮定できる場合の平均値の差の検定
      - 求め方
        
        t, p = stats.ttest_1samp(training_rel["二つのデータの差"], 0)
        
        t, p = stats.ttest_rel(training_rel["データ１"], training_rel["データ２"])
      - ウィルコくそんの符号付き順位検定
        
        データに対応があり差に正規分布を仮定できない場合の中央値の差の検定 :recycle:
    - - ウェルチの法則
        
        stats.ttest_ind
      - マンホイットニーのU検定
        
        ２標本の母集団に正規分布を仮定できない場合の中央値の差
        
        u, p = stats.mannwhitneyu(training_ind["A"], training_ind["B"], alternative="two-sided")
    - - クロス集計
        
        ad_cross = pd.crosstab(ad_df["広告"], ad_df["購入"]) :<3:
      - 期待度数
        
        各変数が独立な時に期待される度数
      - 観測度数
        
        実際に観測されたデータ
      - 求め方
        
        chi2, p, dof, ef = stats.chi2_contingency(ad_cross, correction=False)
        chi2, p, dof :recycle:
- - - - rv = stats.norm(2, 0.5)
        '#'2 = 期待値
        '#'0.5 = 標準偏差
        
        rv.mean()
        
        期待値
        
        rv.var()
        
        分散
        
        rv.pdf(2)
        
        密度関数
        
        rv.sdf(1.7)
        
        分布関数
        
        rv.isf(0.3)
        
        分布関数の逆を求める
        
        rv.interval(0.9)
        
        確率の区間を求める
  - - - stats.expon()
  - - - stats.chi2
    - - 左右非対称で右に歪んだ分布
      - 自由度が大きくなると左右対象に近くなる
      - 自由度の値の近くに分布のピークがくる
  - - - stats.t()
    - - 左右対象
      - 標準正規分布より裾が厚い
      - 自由度が大きくなると標準正規分布に近く
  - - - stats.f()
    - - 左右非対称で右に歪んファ分布
      - 分布のピークは１付近
- - - - 生徒番号
      - 電話番号
    - - 成績の順位
      - アンケートの満足度
  - - - 西暦
      - 温度
    - - 長さ
      - 重さ
- - - - 正規分布
        
        正規分布の和も正規分布に従う
      - ポアソン分布
        
        ポアソン分布の和もポアソン分布に従う
    - - ベルヌーイ分布
  - - - 確率変数が互いに独立し、期待値がμで分散がσ2の確率分布Fに従っている場合、試行が大きくなるにつれて標本平均の分布は正規分布に近く
    - - サンプルサイズを大きくすると標本平均は母平均に収束する
- - - - 代表値
        
        分散
        
        平均
        
        np.mean(scores)
        
        中央値
        
        np.median(scores)
        
        最頻値
        
        pd.Series(scores).mode()
      - 偏差
        
        定義
        
        平均からの離れ具合
        
        mean = np.mean(scores)
        deviation = scores - mean
      - 分散
        
        標本分散
        
        summary_df['偏差二乗'] = np.square(deviation)
        
        不偏分散
      - 標準偏差
        
        np.sqrt(np.var(scores, ddof=0))
        
        np.std(scores, ddof=0)
      - 範囲
        
        最大値 - 最小値
        
        np.max(scores) - np.min(scores)
        
        値が大きい
        
        ばらつきが大きい
        
        四分位範囲
        
        25%,50%, 75%
        
        scores_Q1 = np.percentile(scores, 25)
        scores_Q2 = np.percentile(scores, 50)
        scores_Q3 = np.percentile(scores, 75)
        
        IQR
        
        scores_IQR = scores_Q3 - scores_Q1
    - - 度数分布表
        
        用語
        
        階級
        
        区間
        
        度数
        
        数
        
        階級幅
        
        区間の幅
        
        階級値
        
        各階級を代表する値
        
        相対度数
        
        全データ内での階級の比率
        
        累積相対度数
        
        相対度数の和
      - 各階級の度数
        
        freq, _ = np.histogram(english_scores, bins = 10, range=(0, 100))
    - - pd.Series(scores).describe()
  - - - 標準化されたデータ
        
        標準化変量
        
        Zスコア
        
        特徴
        
        平均が0
        
        標準偏差が1
        
        標準化されたデータは単位を持たない :warning:
      - 作り方
        
        データから平均を引き、標準偏差で割る
        
        z = (scores - np.mean(scores)) / np.std(scores)
  - - - 平均が50
      - 標準偏差が10
    - - z = 50 + 10 * (scores - np.mean(scores)) / np.std(scores)
- - - - np.cov(en_scores, ma_scores, ddof=0)
  - - - 相関係数 :star:
      - 作り方
        
        np.cov(en_scores, ma_scores, ddof = 0)[0, 1]/(np.std(en_scores) * np.std(ma_scores))
        
        np.corrcoef(en_scores, ma_scores)
        
        scores_df.corr()
- - - - 確率として取りうる値
    - - 観測される値
    - - 観測
    - - 試行の結果に起こりうる出来事
        
        根元事象
        
        事象の細分化された最小
    - - 事象が互いに排反なら、それらのうち少なくとも１つが起こる事象は各事象の確率の和に等しい :star:
- - - - 取りうる値の区間と確率変数
      - 作り方
        
        rv = stats.norm(p_mean, np.sqrt(p_var))
    - - integrate.quad(f, 0.4, 0.6)
    - - ゼロの証明
        
        from scipy.optimize import minimize_scalar
        res = minimize_scalar(f)
        res.fun
      - １の証明
        
        integrate.quad(f, -np.inf, np.inf)[0]
    - - 作り方
        
        integrate.quad(f, -np.inf, x)[0]
    - - 期待値
      - 分散
  - - - 周辺確率密度関数
        
        限定した確率変数のみの密度関数を求める
        
        作り方
        
        from functools import partial
    - - 分散
      - 期待値
      - 共分散
      - 相関係数
- - - - 確率変数Xがxkという値をとる確率を関数化
      - 確率的に取りうる値とそれぞれの確率を関数化させたもの
    - - 取りうる値とその確率の具体的な対応
    - - ①確率は絶対に０以上
        
        np.all(prob>=0)
      - ②全ての確率を足すと１
        
        np.sum(prob)
    - - 確率変数Xがx以下になる時の確率を返す関数
    - - 期待値
      - 分散
        
        確率変数から期待値を引いて２乗し、確率を掛けたものを合計する
  - - - 同時確率関数
        
        性質
        
        ①確率は絶対に０以上
        
        ②全ての確率を足すと１
        
        周辺確率分布
        or
        周辺分布
        
        一方の確率関数のみに焦点を当てる
    - - ２つ以上のデータの相関関係
- - - - 母集団の確率分布の仮定なし
    - - 母集団の確率分布の仮定あり
  - - - 取りうる値：１
        
        試行成功
        
        p
      - 取りうる値：０
        
        試行失敗
        
        1-p
      - 例
        
        コイン
        
        サイコロの６が出るかどうか
      - scipyを使用
        
        rv = stats.bernoulli(期待値)
        
        rv.pmf(0), rv.pmf(1)
        
        累積密度関数
        
        rv.cdf([0, 1])
        
        期待値
        
        rv.mean()
        
        分散
        
        rv.var()
    - - ベルヌーイ分布のn回試行
      - 例
        
        コイン
        
        10回コインを投げて表が出る回数
        
        サイコロ
        
        4回サイコロを投げて6が出る回数
      - 作り方
        
        from scipy.special import comb
      - まとめ
    - - ベルヌーイ試行を繰り返して最初に成功するまでの
        試行回数に従う分布
        
        例
        
        コイン
        
        コインを表が出るまで投げる回数
        
        サイコロ
        
        サイコロを6が出るまで投げる回数
        
        作り方
        
        rv = stats.geom(p)
        
        まとめ
    - - ランダムな事象が単位時間粗利に
        発生する件数が従う確率分布
      - 作り方
        
        rv = stats.poisson(lam)
      - まとめ
- - - - 推定量の期待値が推測した母数になる性質 :star:
    - - 普遍性を持っている推定量
    - - サンプルサイズを増やすと推測したい母数に収束していく性質
    - - 一致性を持った推定量
    - - 母分散の不偏推定になる標本統計量
    - - サンプルサイズから１を引いた値
    - - 標本平均と不偏分散がそれぞれ母平均と母分散の良い推定量である :<3:
    - - たまたま偏った標本を抽出したら誤った推定値を出す
  - - - 正規分布の母平均の区間推定
        
        前提
        
        母集団の分散はわかっている
        
        信頼区間
        
        標準正規分布の確率的区間
        
        上側信頼限界
        
        信頼区間の上側
        
        下側信頼限界
        
        信頼区間の下側
      - 正規分布の母分散の区間推定
        
        前提
        
        母平均は分かっていない
        
        ゴール
      - 正規分布の母平均の区間推定
        
        前提
        
        母集団の分散不明 :black_flag:
        
        母分散の代わりに不偏分散を使って算出
        
        母分散が未知
      - ベルヌーイ分布の母平均の区間推定
        
        中心極限定理を使う :recycle:
      - ポアソン分布の母平均の信頼区間
        
        中心極限定理を使う :recycle: