概率论与数理统计
常用辅助函数
随机事件和概率
为了方便用高等数学方式研究
\(随机事件的概率变为随机变量的概率P(A)\longrightarrow P(X\leq x)\)
随机变量的数字特征
\(协方差Cov(X,Y)\)
矩、协方差矩阵
\[计算均值\]
\[权重不等\]
随机变量
\[随机变量X/Y的期望\]
离散型
\[ \color{#F00}{随机变量的函数}的数学期望\]
数学期望的几个重要性质
\(E(C)=C.\)
\( E(CX)=CE(X).\)
\(E(X\pm Y)=E(X)\pm E(Y).\)任何时候都成立
\( E(XY)=E(X)E(Y) ，\color\red{仅XY不相关时}\)#
\[衡量各点相对均值的偏离程度\]
\(方差D(X)或Var(X)\)
\(性质\)
对偏离程度求均值
定义
\(a,b,C是常数；\\X，Y是随机变量\)
\(D(aX+b)=a^2D(X)\)
\(D(X\pm Y)=D(X)+D(Y)\pm \color{#F00}{2Cov(X,Y)}. \)
\(D(X)=0的充要条件是X以概率1取常数E(X)，即 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ P(X=E(X))=1 \)
Chebyshev不等式
\(设随机变量X具有数学期望E(X)=\mu,方差D(X)=\sigma^2,则对于任意正数\varepsilon,不等式 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ P({|X-\mu|\geq \varepsilon})\leq\frac{\sigma^2}{\varepsilon^2} \)
定义\(Cov(X,Y)=E([X-E(X)][Y-E(Y)])\) #
性质
\(1^{。}Cov(aX,bY)=\color\red{ab}Cov(X,Y),a,b是常数\)
\(2^{。}Cov(X_1+X_2,Y)=Cov(\color\red{X_1},Y)+Cov(\color\red{X_2},Y)\)
为避免受到量纲的影响，引入
(线性)相关系数 #
定理
\(|\rho_{XY}|是一个可以用来表征X,Y之间线性关系紧密程度的量。当|\rho_{XY}|较大时，我们通常会说X,Y线性相关程度较好，\\当|\rho_{XY}较小时，我们说，X,Y线性相关的长度较差. \)
\[权重相等\]
\[平均数\]
\(离散型随机变量X的分布律为 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ P{X=x_k}=p_k,k=1,2,\cdots. \\若级数 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \sum_{k=1}^{\infty}x_kp_k \\\color{#F00}{绝对收敛}，则称级数\sum_{k=1}^{\infty}x_kp_k的和为随机变量X的数学期望，记为E(X).即 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \color{#F00}{E(X)=\sum_{k=1}^{\infty}x_kp_k} \)
连续型
\(一维Y=g(X)\)
\[连续型\]
\[若\int_{-\infty}^{+\infty}g(x)f(x)dx 绝对收敛\]
\[离散型\]
\[若\sum_{k=1}^{\infty}g(x_k)p_k 绝对收敛\]
\[\color{#F00}{E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k} \]
\[ \color{#F00}{E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx}\]
\(二维Z=g(X,Y)\)
\[离散型\]
\[连续型\]
\[E(Z)=\sum_{i}^{m}\sum_{j}^{m} g(x_i,y_i)p_{ij}\]
\[E(Z)=\int_{-\infty}^{+\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy\] ❗
\[E(kX+b)=k\cdot E(X)+b\]
\[条件期望\]
\(离散\)
\[E(X|Y=y_j)=\sum x_ip(X=x_i|Y=y_j)\]
\[E(Y|X=x_i)=\sum y_ip(Y=y_j|X=x_i)\]
连续
\[E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx（结果为含y的表达式）\]
\[E(Y|X=x)=\int_{-\infty}^{+\infty}yf(y|x)dy（结果为含x的表达式）\]
离散型
\(D(X)=Var(X)=E{[X-E(X)]^2=\color{#F00}{E(X^2)-[E(X)]^2}.}\)
\(对于\color{#F00}{离散型}随机变量，有 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k, \\其中P{X=x_k}=p_k,k=1,2,\cdots是X的分布律. \)
\(对于\color{#F00}{连续型}随机变量，有 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ D(X)=\int_{-\infty}^{\infty}[x-E(X)]^2f(x)dx, \\其中f(x)是X的概率密度 \)
\[标准化\]
\[X^{*}=\frac{X-E(X)}{\sqrt{D(X)}}\]
\(E(X^*)=0,D(X^*)=1\)
正态
\[\Gamma(n)=\int_{0}^{+\infty}t^{n-1}\cdot e^{-t}dt\]
\(\Gamma(\alpha+1)=\alpha F(\alpha)\)
\[\Gamma(1)=\int_{0}^{+\infty}t^0\cdot e^{-t}{\rm d}t = 1\]
\(\Gamma(\frac{1}{2})=\sqrt{\pi} = \int_{0}^{+\infty} t^{-\frac{1}{2}} \cdot e^{-t}dt\)
\(\Gamma(n)=(n-1)*\Gamma(n-1)=(n-1)!\)
\(2^{。}|\rho_{XY} | =1 的充要条件是，存在常数a,b使P\{Y=a+bX\}=1. \\ b>0时，\rho_{XY} =1 ；b<0时，\rho_{XY}=-1 \)
\(1^{。}|\rho_{XY} |\leq1 \)
定义
也可以用于求\(E(X)/E(Y)\)
\(从例2可以看到，当（X，Y）服从二维正态分布时，X和Y不相关与X 和Y相互独立是等价的．\)
事件的运算规律
事件之间的关系
包含
事件的相等
\(A = B \Leftarrow \Rightarrow A \subset B\ and\ B \subset A\)
事件的并（和）
\(和事件：\)
是这样一个事件，n个事件中至少有一个事件发生的事件,
\(\sum_{k=1}^\infty A_k\)
交事件：
\(两个事件A与B同时发生，即A且B,是一个事件，称为事件A与事件B的交，它是由同时属于A和B的样本点构成的集合。\)
\(A \bigcap B或AB\)
对立事件
\(如果每一次实验中，{\bf事件A和事件B\color{red} 必\color{red}有 一个发生}，\\但又不能同时发生，则称事件A与事件B为对立事件，也称A与B为互逆事件。\)
\(事件A的对立事件叫“A逆，非A”,记作 \overline{A} = \{ x\in S | x \notin A \}\)
逆运算的性质\(B=\overline{A}\)
click to edit
\(A \bigcap \overline{A}= A\overline{A} = \emptyset \)
两者不能同时发生
\(A\bigcup \overline{A} = S\)
两者必有一个发生
\(\overline{A} = S-A\)
\(A \bigcap B= AB = \emptyset \)
\(A\bigcup B = S\)
事件的差
事件A发生，而事件B不发生的事件称为事件A与事件B的差
\(记作A-B：属于A但不属于B的样本点构成的集合\)
\(A-B=A \overline{B} = A-AB\)
互不相容事件 基本事件两两互不相容 对立事件一定互不相容,但互不相容事件未必对立
\(如果事件A与事件B不能同时发生，则称事件A与事件B互不相容\\（或称他们互斥）\)
\(互不相容的事件没有公共的样本点，AB=\emptyset\)
完备事件组
\(如果事件A_1,A_2,\cdots,A_n两两互不相容，并且\\A_1\bigcup \cdots \bigcup A_n = S\\则称A_1,\cdots,A_n是一个完备事件组。\)
每一次实验中，完备事件组中有且仅有一个事件发生
分配律
\(A+BC = (A+B)(A+C)\)
\(A(B+C)=AB+AC\)
\(A\bigcup(B \bigcap C)= (A \bigcup B)\bigcap (A\bigcup C)\)
德摩根率
\(\overline{A+B}=\overline{A\bigcup B}=\overline{A} \bigcap \overline{B}=\overline{A} \overline{B}\)
\("A和B都不发生"等价于"非A和非B都发生"\)
\(\overline{AB} =\overline{A\bigcap B}=\overline{A} \bigcup \overline{B}= \overline{A}+\overline{B}\)
\("A与B不同时发生"等价于"非A，非B至少有一个发生"\)
连续型
\(如果事件A发生必然导致事件B发生，即属于A的样本点也属于B，则称事件B包含事件A,或称事件A包含于事件B。记作\\\ \ \ \ \ \ \ \ \ B \supset A\ \ 或\ \ A \subset B \)
\(最多一个发生=不可能同时发生\)
\(\text{事件的关系}\)
通过样本点定义
\(包含\)
\(互斥\)
通过概率定义
\(\text{注意：两个事件互斥表示其中一个会影响另一个发生的概率，}\\ \text{说明两者不独立。}\color\red{不可能事件除外，与任意事件独立}\)
\(\text{独立}\)
\(P(AB)=P(A)\cdot P(B)\)
两者\(\color\red{(逆)}事件\)可能互斥，也可能不互斥
\( 当 0< P(A) < 1 时，A与B独立等价于\color\red{P(A|B)= 1- P(\overline{A} | \overline{B})}=P(A | \overline{B}),\\ 或P(B|A)=P(B) \)
独立且互斥
0概率事件
1概率事件
\( ②P(A) = 0 \)
包含所有事件，也和所有事件独立 ❗
\(概率为0 不一定是不可能事件 \)
\( ①P(\emptyset) = 0 不可能事件\)
\(①P(\Omega) = 1必然事件\)
\(②P(A) = 1\)
\(1概率事件不一定是必然事件\)
\(比如一点落在总长度为1的线段上，\\其中落在(0,\frac{1}{2})的概率+(\frac{1}{2},1)的概率和为1，\\但并非必然事件，因为可能落在\frac{1}{2}这一点上，\\而这一点并不在意上述1概率事件中\)
\(\color\red{事件能得出概率的结论，但概率得不出事件的结论}\)
\(比如几何概率中的一点，面积/长度为0。\)
\(概率公式\)
加法公式
\(P(A\bigcup B)=P(A+ B) = P(A) + P(B) - P(A\bigcap B) \)
\(P(AB)求法\)
若独立
\(若A\bigcup B为\Omega \)
\(P(AB)=P(A)+P(B)-P(A\bigcup B)=P(A)+P(B)-1\)
减法公式
\(\color\red{P(A-B)=P(A)-P(AB)=p(A\overline{B})}\)
乘法公式
\(P(AB)=P(A)\cdot P(B|A)\)
\(对立事件(逆事件)\)
\( P(\overline{A}\bigcap \overline{B}) =P(\overline{A\bigcup B}) = 1-P(A\bigcup B)=1-P(A+ B)\) ‼
\(\overline{AB} = \overline{A}\bigcup \overline{B}\)
\(\color\red{3个事件两两独立\neq 3个事件相互独立}\\当A\bigcap B发生后，C可能成为必然。即： P(CAB)=P(C|AB)\cdot P(AB)\)
\( \\设连续性随机变量X的概率密度为f(x),若积分 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \int_{-\infty}^{+\infty}xf(x)dx \\\color{#F00}{绝对收敛}，则称积分\int_{-\infty}^{+\infty}xf(x)dx的值为随机变量X的数学期望，记为E(x). 即 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \color{#F00}{E(x)= \int_{-\infty}^{+\infty}xf(x)dx} \)
将样本点以数学自变量方式呈现\(\omega \longrightarrow X(\omega) \)
\(P(A|B)+P(\overline{A}|\overline{B})=1\)
\(推广到n种情况\)
\(P(A_1A_2A_3\cdots A_n) = P(A_1)P(A_2)P(A_3)\cdots P(A_n)\)
\(P(\bigcup_{i=1}^n) = 1 - \prod_{i=1}^n[1-P(A_i)]\)
条件概率
全概率公式
\(P(A_j|B) = \frac{P(A_jB)}{P(B)} = \frac{P(A_j)\cdot P(B|A_j)}{\sum_{i=1}^nP(A_i)P(B|A_i)}\)
\(P(A|B)=\frac{P(AB)}{P(B)}\)
非独立
\(P(AB) = P(B)\cdot P(A|B)(P(B)>0) \)
\(P(AB)=P(A)P(B|A)\)
\(P(AB)=P(B)P(A|B)\)
\(P(AB) = P(A)-P(A\overline{B})\)
\(P(AB) = P(A)+P(B)-P(A+B)\)
\(相等\)
\(P(B) = \sum_{i=1}^nP(A_i)\cdot P(B|A_i)\)
常考题型
\(抓球模型，无论是否放回，每次抓到某种颜色的球的概率一致\)
当事件A的概率是由多个因素共同导致的结果
\(多维随机变量\)
当某个事件A的发生概率只与1个因素相关
\(1维随机变量\)
基本概念
\(以大写字母X,Y,Z,W\cdots 表示随机变量，而已小写字母x,y,z,w\cdots 表示实数\)
\(P \{ X\in L\} =P \{ B \} =P \{ e \mid X(e)\in L\} \)
随机变量函数的分布
\(随机变量数目\)
\(不可数无穷多个随机变量\)
\(f(x)是非负可积函数\)
连续型随机变量
\(三种重要的连续型随机变量分布\)
\(正态分布\color\red{X \sim N(\mu,\sigma^{2})}\) ❗
基本概念
\(当\mu=0，\sigma=1时称随机变量X服从标准正态分布\)
性质
\(X \sim \varphi(x)\)
密度函数
分布函数
\(当x=\mu时取到最大值 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ f(\mu)=\frac{1}{\sqrt{2\pi\sigma}} \)
\(解法顺序\)
密度函数
\(指数分布\color\red{X \sim E(\lambda)}\) ❗
性质(积分)
\(基本概念\)
\(均匀分布\color\red{X \sim U(a,b)}\)❗
\(若连续性随机变量X具有概率密度 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ f(x)= \left \{ \begin{array} {c} \frac{1}{b-a}, a < x < b \\ 0,其他 \end{array} \right.\\则称X在区间(a,b)上服从均匀分布.记为\color\red{X \sim U(a,b)} \)
分布函数及其概率密度
概率密度\(f(x)性质\)
click to edit
\(3^{.}对于任意实数x_1,x_2(x_1 \leq x_2), \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ P\{ x_1 < X \leq x_2 \} =F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx \)
\(2^{.} \int_{-\infty}^{+\infty}f(x)dx=1\) ❗
\(有限/ 可列个\)
离散型随机变量
\(分布函数F(x) = \sum_{x_i \leq x}p_i\)
click to edit
几何分布：第k次首次发生 \(X\sim G(p)\)⛔
\(泊松分布\color\red{X\sim \pi (\lambda)，X \sim P(\lambda)}\)
泊松定理 🚩
\(n越大，p越小\)
\(设\lambda 是一个常数，n是任意正整数，设np=\lambda,则对于任意固定的非负整数k，有 \\ \ \ \ \ \ \ \ \ \lim\limits_{n \rightarrow +\infty} C_n^{k}p^{k}(1-p)^{n-k} \approx \frac{\lambda^{k}e^{-\lambda}}{k!} \) #可用泊松分布逼近二项分布
\(设随机变量X所有可能取的值为0，1，2，\cdots,而取各个值的概率为 \\ \ \ \ \ \ \ \ \ \ \ P\{ X=k \} = \frac{\lambda^{k} e^{-\lambda} }{k!},k=0,1,2,\cdots, \\其中 \lambda>0是常数.则称X服从参数为\lambda的泊松分布，\color\red{记为X \sim \pi(\lambda)} \)
\(二项分布\color\red{X\sim b(n,p)} \)
\(事件\{ X =x_i\}的概率为：P \{ X=k \} =C_n^{k}p^{k}(1-p)^{n-k},k=0,1,\cdots,n \left(0< p<1\right) \) #当n=1，k=0,1
\(伯努利实验\)
\(n重伯努利实验\)
\(重复是指在每次实验中P(A)=p保持不变\)
\(将E独立重复地进行n次，则称这一串重复的独立实验为n重伯努利实验\)
\(独立是指各次实验结果互不影响\)
\(内容：设实验E只有两个可能结果：A及\overline{A}，则称E为伯努利实验\)
\(分布函数\)
定义
对
\(概率密度函数f(x)\) #
性质(分布函数判别条件) ‼
\(离散型随机变量分布律 \\设离散型随机变量X所有可能取的值为x_i(i=1,2,\cdots),X取各个可能值的概率，\color\red{即事件\{ X =x_i\}的概率为 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ P \{ X=x_i\} =p_i,i=1,2,\cdots.} \)
\(F(x) = P \{ X \leq x\} (x \in R)\)
\(0 \leq F(x)\leq1,且 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ F(-\infty)=\lim_{x \rightarrow -\infty}F(x)=0 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ F(+\infty)=\lim_{x \rightarrow +\infty}F(x)=1 \)
\(单调不减,x_1 < x_2 \Rightarrow F(x_1)\leq F(x_2)\)
\(右连续性，F(x+0) = F(x)\)
既不是离散型也不是连续型随机变量
\(4^{.}若f(x)在点x处连续，则有F^{'}(x)=f(x)\)
\(如果对于随机变量X的分布函数F(x)，存在非负函数f(x),使对于任意实数x有 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \color\red{F(x)=\int_{-\infty}^{x}f(t)dt} \\则称X为连续性随机变量，其中函数f(x)称为X的概率密度函数，简称\bf概率密度 \)
\( 任意x_1 < x_2，P \{ x_1 < X \leq x_2\} =F(x_2)-F(x_1)\)
\(任意x, P\{X=x\} = F(x)-F(x-0) = F(x)-F(x^-)\)
\(分布律，分布列，概率分布p_i\) #
的累积
\(1^{.}f(x)\geq 0\)
有两种结果，并且实验只做一次
\((0-1)分布\)
\(分布律\)
\(设随机变量X只可能取0与1两个值，它的分布律是 \\P\{ X=k \} =p^{k}(1-p)^{k-1},k=0,1\left(0< p<1\right) \)
泰勒展开变形\[e^x=\sum_{n=0}^{\infty}\frac{1}{n!}x^n \left(-\infty < x<+\infty\right)\]
\(P\{X=k\}=p\cdot (1-p)^{k-1}，其中k=1,2,\cdots,\)
超几何分布 ⛔
\(P\{X=k\} = \frac{C_M^kC_{N-M}^{n-k}}{C_N^n}\)
\(N件产品，M件正品，无放回取n次，则取到k个正品的概率\)
和建模相关
\(分布函数\)
\(密度函数\)
\(f(x)= \left \{ \begin{array} {c} \lambda e^{-\lambda x}, x > 0 \\ 0,其他 \end{array} \right. ,\lambda >0\)
\(无记忆性 \\P\{ X>s+t \mid X>s \} =P\{ X > t \} \)
\(\color\red{P\{X > t\} =\int_t^{+\infty} \lambda\cdot e^{-\lambda x} = e^{-\lambda x}} \)
\(\int_0^{+\infty}x^ne^{-x}dx = n!\)
对称性
\(查表\)
标准化
\(曲线关于x=\mu对称.这表明对于任意h>0有 \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ P \{ \mu-h < X \leq \mu \} = P \{ \mu < X\leq\mu+h \} \)
\(X \sim N(0,1)\)
\(若X\sim N(\mu,\sigma^{2})\)
\(P \{a < X \leq b \} = \Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})\)
\(P\{ |X|\leq a \} = 2\cdot \Phi (a)-1,a > 0\)
\(\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{\frac{-t^{2}}{2}}\)
\(可以将两个不同规模的正态分布标准化到一个规格下进行比较\)
性质
\(\sum_{i}p_i = 1\)
\(二项分布最大分布律\\U_k对应的次数k\)
\((n+1)\cdot p-1 \leq k \leq (n+1)\cdot p \)
\(F(x)不可唯一确定f(x)，改变f(x)在有限个点的值，不影响F(x)，\color\red{P\{X \leq x\} = P\{X< x\}}\)
图像
\(F(x)= \left \{ \begin{array} {c} 1-e^{-\lambda x}, x \geq 0 \\ 0,其他 \end{array} \right. ,\lambda >0\)
分布函数
\( F(x)=\frac{1}{\sigma\sqrt{2\pi}}\,\int_{-\infty}^{x}e^{ -\frac{(t-\mu)^2}{2\sigma^2} }dt \)
\( f(x)= \frac{1}{\sigma\sqrt{2\pi}}\,e^{ -\frac{(x-\mu)^2}{2\sigma^2} }\)
\(\Phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{\frac{-t^{2}}{2}}d(t)\)
\(F(x) = P\{X \leq x\} = P\{\frac{X-\mu}{\sigma} \leq \frac{x-\mu}{\sigma}\} = \Phi(\frac{x-\mu}{\sigma}) \)
\(\frac{X-\mu}{\sigma} \sim N(0,1)\)
\(P\{\mu - \sigma \leq X \leq \mu+\sigma\} = 2\cdot \Phi(1) - 1\)
\(P\{\mu - k\sigma \leq X \leq \mu+k\sigma\} = 2\cdot \Phi(k) - 1(k>0)\)
\(\Phi(-x)=1-\Phi(x)\)
\(P\{|X|>a\} = 2\cdot[1-\Phi(a)](a>0)\)
\(\color\red{连续型随机变量在任意一点的概率都为0}\)
\(参数解析\)
\(\mu ：数学期望\)
\(\sigma^2：方差D(X)\)
定义法
公式法
\[基本概念\]
\(设Y的分布函数F_Y(y)\\ F_Y(y)=P\{Y \leq y \} = P\{g(X)\leq y\} = P\{X \leq g^{-1}(y)\} = \left \{ \begin{array} {c} F_X(g^{-1}(y)) \\ \\ \\ \int_{g(x) \leq y} f_X(x)dx \\ \end{array} \right. \)
要点
\(范围(先不讨论等号，也就是端点)\)
连续型积分范围
离散型取值范围
\(端点(当范围出来以后再讨论)\) ❗
随机变量的函书仍然是随机变量
\(当y=F_X(X)时，F_Y(y)=F_X(g^{-1}(y)) = F_X(F_X^{-1}(y)) = y \\即y在(0,1)上均匀分布 \)
二维随机变量
\(定义:设随机试验的样本空间为S=\{e \} .X=X(e)是定义在样本空间S上的实值单值函数.称X=X(e)为随机变量。\)
\(样本空间:\)
\(基本概念\)
\((X,Y)的分布函数\)
性质
\(0 \leq F(x,y) \leq 1\)
\(F(-\infty,y) = F(x,-\infty) = F(-\infty,-\infty) = 0\)
\(F(+\infty,+\infty) = 1\)
\(F(x,y)关于x和关于y均\)
\(边缘分布F_X(x)和F_Y(y)\)
单调不减
右连续
\(F(a \leq X \leq b,c \leq Y \leq d) = F(b,d) + F(a,c)-F(b,c) - F(a,d)\)
\(F_Y(y) = P\{Y \leq y\} = P\{X<+\infty,Y \leq y \}\)
\(F_X(x) = P\{X \leq x\} = P\{X \leq x, Y < +\infty \}\)
\(F(x,y) = P\{X \leq x, Y \leq y\}\)
离散型
边缘分布
\(概率分布/联合分布律\)
\(关于X的边缘分布\)
\(p_{i\cdot} = P\{ X=x_i \} =\sum_{j=1}^{+\infty}P\{X = x_i,Y = y_j\} = \sum_{j=1}^{+\infty}p_{ij} ,i = 1,2,\cdots\)
\(关于Y的边缘分布\)
\(p_{\cdot j} = P\{ Y=y_j \} =\sum_{i=1}^{+\infty}P\{X = x_i,Y = y_j\} = \sum_{i=1}^{+\infty}p_{ij} ,j = 1,2,\cdots\)
条件分布
\(在Y=y_i条件下随机变量X的条件分布 \)
\(P\{X = x_i|Y = y_i\} = \frac{ P\{ X = x_i,Y = y_i \} }{P\{Y = y_i\} }\)
\(连续型\)
\(分布函数\)
\(F(x,y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(x,y) dxdy\)
密度函数性质
\(\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y) dxdy = 1\)
\(P\{(X,Y) \in D \} = \iint_{D}f(x,y) dxdy \)
\(f(x,y) \geq 0\)
\(边缘密度\)
\(f_X(x) = \int_{-\infty}^{+\infty}f(x,y)dy\)
\(f_Y(y) = \int_{-\infty}^{+\infty}f(x,y)dx\)
\(条件边缘密度\) ❗
\(f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)},f_{Y}(y)> 0\)
\(f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)},f_{X}(x)> 0\)
边缘分布
条件分布
\(F_{Y|X} (y|x) = \int_{-\infty}^{y}\frac{f(x,y)}{f_{X}(x)}dy \)
\(P\{X = x_i, Y = y_i\} = p_{ij}\)
\(其他\) 🚩
\(在1维空间，就是除了某段长度范围外的点\)
在2维空间，表示组成除某个面积外的全部面积的点
\(条件边缘分布中，是在\color\red{条件样本空间(样本空间缩小了)}内除了某部分面积之外的空间中的样本点\)
独立性
\(独立\)
\(P\{X\leq x, Y \leq y\} = P\{ X\leq x \}\cdot P\{Y \leq y\}\)
\(F(X,Y) = F_X(x)\cdot F_Y(y)\)
\(P\{X=x_i,Y = y_i\} = P\{X = x_i\}\cdot P\{Y = y_i\} \)
独立性
\( f(x,y) = f_X(x) \cdot f_Y(y)\)
\(分布\)
均匀分布
\((x,y)服从区域G上均匀分布\\ f(x,y) = \left \{ \begin{array} {c} &\frac{1}{A} ，&(x,y) \in G \\ \\ &0, &其他 \end{array} \right. 其中A是G的面积 \)
正态分布
\( (X,Y) \sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)\)
\(f(x,y) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} e^{ -\frac{1}{2(1-\rho^2)} \cdot[(\frac{x- \mu_1}{\sigma_1})^2 - \frac{2\rho\cdot (x- \mu_1)(y- \mu_2)}{\sigma_1 \sigma_2}+(\frac{y- \mu_2}{\sigma_2})^2 ] } \)
\(\sigma_1 >0,\sigma_2>0, -1 < \rho <1\)
\(-\infty < x < +\infty,-\infty < y < +\infty\)
\(性质\)
\((X,Y) \sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho) \Longrightarrow \)
\(X,Y独立 的两个1维正态\Longleftrightarrow \rho = 0\)
\((X,Y)正态\Longleftrightarrow (aX+bY,cX+dY)正态 , \begin{vmatrix} a & b \\ c & d \end{vmatrix} \neq 0\)
\(两个一维正态合起来不一定是二维正态，但二维正态边缘一定是正态\)
\[\int_{-\infty}^{+\infty}e^{-x^2}dx=\sqrt{\pi}\]
\(二维随机变量函数的分布\)
\(X,Y均为离散型随机变量\)
\(n:试验总次数\)
\(p：概率\)
\(X,Y均为连续型随机变量\) ❗
\(F_Z(z) = P\{Z \leq z\} = P\{ g(x,y) \leq z \} = \iint_{g(x,y) \leq z} f(x,y) dxdy \)
\(X离散，Y连续型Z=g(X,Y)\)
全概率公式
\(卷积公式\)
\(Z = X+Y\)的情况
\(Z = max(X,Y),Z = min(X,Y),\\ X \sim F_X(x),Y \sim F_Y(y) ,XY独立 \)
\(Z = max(X,Y)\) ❗
\(\begin{split} Z \sim F_Z(z) &= P\{ Z \leq z \} = P\{ max(X,Y) \leq z \} &= P\{ X \leq z, Y \leq z\} \\ &= P\{X \leq z \}\cdot P \{ Y \leq z \} \\&=F_X(z)\cdot F_Y(z) \end{split} \)
\(Z = min(X,Y)\) ❗
\(\begin{split} Z \sim F_Z(z) &= P\{Z \leq z\} = P\{ min(X,Y) \leq z\} \\ &= 1- P\{X> z\}\cdot P\{ Y >z\} \\&= 1-[1-F_X(z)] \cdot [1-F_Y(z)] \\&= F_X(z)+F_Y(z)-F_X(z)\cdot F_Y(z) \end{split} \)
\(\begin{split} Z \sim F_Z(z) &= P\{Z \leq z\} = P\{ min(X,Y) \leq z\} = P\{X \leq z \cup Y\leq z \}\\ &= P\{X \leq z\} +P\{Y \leq z\} -P\{ X\leq z,Y \leq z \}\\&= F_X(z)+F_Y(z)-F_X(z)\cdot F_Y(z) \end{split} \)
定参数
指数分布
拉普拉斯分布
常考分布的期望，方差
\( \begin{array}{|c|c|c|c|}\hline 分布 &期望 &方差 \\ \hline 01分布X \sim B(1,p) & p &pq \\ \hline 二项分布X \sim B(n,p) & np &npq \\ \hline 几何分布 & \frac{1}{p} &\frac{1-p}{p^2} \\ \hline 泊松分布X \sim P(\lambda) & \lambda & \lambda \\ \hline 均匀分布X\sim U(a,b) & \frac{a+b}{2} & \frac{(b-a)^2}{12} \\ \hline 指数分布X \sim E(\lambda) &\frac{1}{\lambda} &\frac{1}{\lambda^2} \\ \hline 正态分布X \sim N(\mu,\sigma^{2}) &\mu & \sigma^2 \\ \hline \end{array} \)
\(\color{#F00}{Cov(X,Y)=E(YX)-E(X)E(Y)}\)
\( \sqrt{D(X)}\cdot \sqrt{D(Y)} \neq 0 , \rho=\frac{Cov(X,Y)}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}\)
\( \sqrt{D(X)}\cdot \sqrt{D(Y)} = 0 , \rho=0 \)
\( 当|\rho_{XY}|=0时，称X和Y不相关。 \)
独立一定不相关，不相关不一定独立
\(若(X,Y)正态，X,Y独立 \Longleftrightarrow \rho = 0,即不相关\)
\(F_{X|Y} (x|y) = \int_{-\infty}^{x}\frac{f(x,y)}{f_{Y}(y)}dx \)
\(F_X(x) = F(x,+\infty)\)
\(F_Y(y) = F(+\infty,y)\)
\(aX+bY服从1维正态，要求a，b不全为0\)
\(aX\pm bY必正态,且aX\pm bY \sim (a\mu_1\pm b\mu_2,a^2\sigma_1^2+b^2\sigma_2^2)\)
\(P\{(X,Y) \in D\} = \frac{S_D}{S_G}\)
\(D(C)=0\)
\(当X,Y不相关，Cov(X,Y) = 0 \Longrightarrow D(aX \pm bY) = a^2D(X) + b^2D(Y) \)
\(Cov(X,Y)=Cov(Y,X)\)
\(特别当X,Y不相关，Cov(X,Y) = 0\)
\(Cov(X,X)=D(X)\)
\(\sqrt{D(X)},记为\sigma(X)，称为标准差或均匀差. \)
\(E(x^2) = D(X) + [E(X)]^2\)
\(由D(x) \geq 0,得E(x^2) \geq [E(X)]^2\)
\(X \sim f(x) = \frac{1}{2}e^{-|x|} \)
\( 其他表述形式X和Y满足某条件,如：P\{X^2 = Y^2\} = C \)
\(\begin{equation} \begin{split} Z \sim F_Z(z) &= P\{ Z \leq z\} =P\{ g(X,Y) \leq z \} \\ &=\sum_{i}^{n} P\{ X=x_i \}\cdot P\{ g(X,Y) \leq z|X = x_i \} \\&=\sum_{i}^np_i \cdot P\{ g(x_i,Y) \leq z|X = x_i\} \end{split} \end{equation}\)
\(把X+Y看成一个整体，可以将一个复杂随机变量看成是多个简单的随机变量的和差形式\) #
\( \sum _{n=0}^{\infty}\frac{x^n}{n!} = e^x \)
二项分布 #
\(\begin{align} E(k) & = \sum_{k=0}^nkp(k) \\ &= \sum_{k=0}^n k \begin{pmatrix} n \\ k \ \end{pmatrix} p^k(1-p)^{n-k} \\ &= \sum_{k=1}^n k \begin{pmatrix} n \\ k \ \end{pmatrix} p^k(1-p)^{n-k} &\text{第0项的值为0}\\ &= \sum_{k=1}^n k \frac{n!}{k!(n-k)!}p^k(1-p)^{n-k} &\text{组合式展开} \\ &= \sum_{k=1}^n k \frac{n!}{k!(n-k)!}p^kq^{n-k} &\text{令q=1-p} \\ &= np\sum_{k=1}^n\frac{(n-1)!}{(k-1)!(n-k)!}p^{k-1}q^{\fbox{(n-1)-(k-1)}=(n-k)} \\ &= np\underbrace{\sum_{k=1}^n \begin{pmatrix} n-1 \ k-1 \ \end{pmatrix}p^{k-1}q^{(n-1)-(k-1)}}_{共(n-1)次试验，随机变量从0到n-1的二项分布的概率之和必为1} \\ &=np \end{align} \)
\(经常用来对一个系统中的单个对象的01分布建立模型\)
标准化后不改变与其他随机变量之间的相关系数
\(\rho_{X^{*}Y^{*}} =\rho_{XY} \)
\(大数定理和中心极限定理\)
\(大数定理\)
\(中心极限定理\) #
\(X_i不相关，方差有界\)
\(\sum_{1}^{n}X_i \sim \color\red{N(n\mu,n\sigma^2)}\)
\(X_i独立同分布，期望存在\)
\(\frac{1}{n}\sum_{i=1}^{n}X_i \overset{P} \Longrightarrow \color\red{E(X_i)} \)
可用中心极限定理毕竟二项分布的分布函数
\(泊松分布\)
\(两个独立同分布的随机变量X_1，X_2\)
\(X_1+X_2 \sim P(2\lambda)\)
\(参数估计\)
点估计
\(估计量\)
估计值
无偏估计
\(E( \hat{\theta} ) = \theta \)
\(\hat{\theta}(X_1,X_2,\cdots,X_n)\)
\(\hat{\theta}(x_1,x_2,\cdots,x_n )\)
数理统计
更有效估计
\( \hat{\theta_1}和 \hat{\theta_2}都是\theta 的无偏估计量，若D(\hat{\theta_1}) \leq D(\hat{\theta_2})，则称 \hat{\theta_1} 比\hat{\theta_2}更有效 \)
一致估计量
\(估计量求法和区间估计\)
\(估计量求法\)
\(矩估计法\)
用样本矩的函数估计总体矩相应的函数
最大似然估计法
\(用样本矩估计相应总体的矩 \)
一阶矩
\(样本一阶原点矩\overline{X}\)
\(二阶矩\)
\(总体二阶原点矩E(X^2) \)
\( 样本二阶原点矩\frac{1}{n}\sum_{i=1}^{n}X_i^2\)
\(解法\)
\(先写出似然函数，然后对待估计参数求偏导，得到偏导为0，解得目标\color\red{最大似然估计值}，最后将小写字母替换为大写字母\color\red{最大似然估计量}\)
一般是驻点
两边取对数
\(\sum_{i=1}^{n}X_i = n\overline{X} \sim P(n\lambda)\) 🚩
\(l阶矩\)
\(总体的l阶矩：\alpha = E(X^l)\)
\(样本的l阶矩：A_l = \frac{1}{n}\sum_{i=1}^{n} X_i^l\)
似然函数
\(L(\theta) = L(x_1,x_2,\cdots,x_n;\theta) = \prod_{i=1}^{n}f(x_i;\theta) \)
\(总体一阶原点矩:E(X)\)
区间估计
\(定义：P\{\theta_1 < \theta < \theta_2\} = 1- \alpha \)
\(\alpha :正态分布的上\alpha分位点的概率\alpha\)
\(\mu未知，\sigma^2已知\)
\(\mu未知，\sigma^2未知\)
参数估计的铺垫
\(若X,Y不相关，则f(X),g(Y)也不相关\)
\( \overline{A-B} = \overline{A\bigcap \overline{B}} = \overline{A} \bigcup B \)
\(a=min\{g(-\infty,+\infty)\}\)
\(b=max\{g(-\infty,+\infty)\}\)
h(y)是g(x)的反函数
\(\color{red}{连续性随机变量的分布函数F(x)是连续函数}，只是不一定可导\)
\(X \sim N(\mu_1,\sigma_1^2),Y \sim N(\mu_2,\sigma_2^2)\)
\(aX\pm bY\pm C\sim N(a\mu_1\pm b\mu_2 \pm C, a^2\sigma_1^2+ b^2\sigma_2^2)\)
\(\begin{split} f_Z(z) &=\int_{-\infty}^{\infty} f(x,z-x)dx \\ &=\int_{-\infty}^{\infty} f(z-y,y)dy \end{split} \)