概率论与数理统计

第一章 随机事件及其概率

1.1随机事件

一、随机现象 

并不总是出现相同的结果,结果并不只一个,哪个结果出现是未知的,但具有统计规律性。

二、随机试验和随机事件

随机试验:实验在在相同条件下可以重复的进行,且实验结果不可预言,用字母E表示

三、样本空间

试验E能出现的结果构成的集合称为该事件的样本空间,用字母Ω表示

四、事件之间的关系和运算

1.包含关系,A\subset B,事件A发生必然导致事件B发生

2.相等关系,A=B,事件A、B等价

3.事件的并,A\cup B,事件A和B的和,在一次试验中事件A、B至少有一个发生

4.事件的交,A\cap B,事件A和B的交,在一次试验中试验A、B同时发生

5.不相容,AB=\varnothing,在一次试验中A、B不能同时发生

6.若A\cup B=\Omega ,A\cap B=\varnothing,则A、B构成对立事件,A、B二者在一次试验至少发生一个,且不同时发生。对立事件一定不相容,但不相容事件不一定对立。

7.事件的差,A-B,在一次试验中A发生B不发生

交换律,结合律,分配律,德摩根律

1.2随机事件的概率

一、事件的频率

二、频率的公理化定义

频率的特性:非负,可加(多个不相容事件和的频率等于各个事件频率的和),规范性(必然事件发生概率为1)

P(\bigcup _{i=1}^n A_i)=\sum_{i=1}^nP(A_i)-\sum_{1\leq i<j\leq n}P(A_iA_j)+\sum_{1\leq i<j<k\leq n}P(A_iA_jA_k)-...+(-1)^{n-1}P(\bigcup_{i=1}^nA_i)

奇加偶减

概率的减法公式

A\subset B,P(A-B)=P(A)-P(B)

1.3古典概率模型(等可能事件)

1.样本空间含有有限多个基本事件,且每个事件出现的可能性相同

2.P(A)=\frac{\text{A包含的样本点数}}{\text{样本总点数}}

排列与组合公式

全排列:n!

重复排列(元素可重复取出,有放回):n^r(r为抽出的元素个数)

重复排列

选排列(有序的):A_n^r

组合:C_n^r

3.加法原理:做一件事情,完成它有n类途径,第一类途径有M1种方法,第二类途径有M2种方法,……,第n类途径有Mn种方法,那么完成这件事情共有M1+M2+……+Mn种方法。

4.常见模型

不放回抽样:P(A_k)=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n}(N个产品,M个次品,不放回的取n个产品,其中k个次品的概率)

放回抽样:P(A_k)=\frac{C_n^kM^k(N-M)^{n-k}}{N^n}

盒子模型:P(A_n)=\frac{N!}{N^n(N-n)!}(n个不同的球放入N个盒子中,求恰有n个有一个球的盒子的概率)

配对模型:

记Ai为第i个人拿对了自己的帽子

P=P(\bigcup_{i=1}^{n}A_i),

1.4条件概率

P(A\mid B)=\frac{P(AB)}{P(B)},在B发生的条件下,A发生的概率

条件概率也是概率,具有概率的一切性质

全概率公式(已知原因求结果,多个原因导致一个结果)

贝叶斯公式(已知结果求原因)

P(A_i\mid B)=\frac{P(A_i)P(B\mid A_i)}{\sum_{i=1}^{\infty}P(A_i)P(B\mid A_i) }

明显发现,分母部分为全概率公式

本概率为后验概率,即已知结果后反推的概率,和全概率公式中的先验概率有所不同

1.5随机事件的独立性

P(AB)=P(A)P(B),满足本公式的两个事件之间为独立事件

A与B相互独立的充要条件是\bar A和B,A和\bar B\bar A\bar B之间都相互独立

本公式也可推广到n个事件之间相互独立

三个事件两两独立无法推出三个事件之间相互独立

第二章 随机变量及其概率分布

2.1随机变量

将每一次试验的结果与唯一的实数对应起来

2.2随机变量的分布函数

1.F(x)=P(X\leq x)

分布函数的性质

(1)0\leq F(x)\leq 1

(2)单调不降,x_1\leq x_2,F(x_1)\leq F(x_2)

(3)右连续,

2.3离散型随机变量

一、离散型随机变量的分布律

列出离散型随机变量X可能取的一切数值为x1,x2,x3...

P(X=x_k)=p_k,k=1,2,3...

为X的分布律,也可用表格表示

性质:

p_k\geq 0,\sum_{k=1}^np_k=1

一个常用的等式c\sum_{k=1}^\infty \frac{p^k}{k}=c\sum_{k=1}^\infty\int_0^px^{k-1}dx

分布律与分布函数的关系F(x)=\sum_{x_k\leq x}P(X=x_k)=\sum_{x_k\leq x}p_k

二、常见的离散型随机变量

(1)(0-1)分布

随机变量X只有两个取值,不妨设为0和1

P(X=x)=p^x(1-p)^{n-x},x=0,1

(2)伯努利试验,二项分布X\sim b(n,p)

P(X=k)=C_n^kp^k(1-p)^{n-k}

定义:

每次试验的条件相同且试验可能出现的结果为有限个

各次试验的结果互不影响(相互独立),则称这n次试验是n次独立试验概型

当(n+1)p是整数时,则n重伯努利实验中有两个最可能成功的次数(n+1)p-1和(n+1)p

当不是整数时,只有一个最可能成功的次数[(n+1)p]

泊松定理:

设λ>0是一常数,n是任意正整数,设np_n=\lambda,则对于任意的非负整数k,有:

\lim_{x\to \infty} C_n^kp_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}

(3)泊松分布X\sim P(\lambda)

二项分布的极限分布,或许多随机现象

P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},k=0,1,2...

(4)超几何分布X\sim (N,M,n)

P(X=k)=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n},k=0,1,2....,l=\min\text{{n,M}}

一般地,若盒子中有N个球,其中有M个黑球,从中不放回抽取n个球,令X表示取出的n个球中含有的黑球个数,则X符合超几何分布

(5)几何分布 X\sim G(p)

P(X=k)=p(1-p)^{k-1},k=1,2...

在n次伯努利试验中,试验k次才得到第一次成功的机率。

(6)负二项分布 X\sim Nb(r,p)

P(X=k)=C_{k-1}^{r-1}p^r(1-P)^{k-r},k=r,r+1,r+2...

在n次伯努利试验中,第r次成功出现在第k次试验的机率。

2.4连续型随机变量

一、连续型随机变量的概念

F(x)=\int_{-∞}^{x}f(x)dx,-\infty<x<+\infty

其中f(x)为概率密度函数,F(x)为分布函数

概率密度函数f(x)有这样的性质:

(1)f(x)\geq 0,-\infty<x<+\infty

(2)\int_{-\infty}^{+\infty}f(x)dx=1

   (3)当f(x)在x的邻域连续时,f(x)=\frac{dF(x)}{dx}

其中第二条性质常被用来计算概率密度函数中的未知数

一个特殊的积分

\int_{-\infty}^{+\infty} e^{-x^{2}}dx=\sqrt{\pi}

将被积函数中形如上式的部分分离出来,即可简化运算

二、几个重要的连续型随机变量

(1)均匀分布

X\sim U(a,b)

f(x)=\left\{\begin{aligned}&\frac{1}{b-a},&a\leq x \leq b \\&0,&\text{其他}\end{aligned}\right.

F(x)=\left\{\begin{aligned}&0,&x<a\\&\frac{x-a}{b-a},&a\leq x\leq b\\&1,&x>b\end{aligned}\right.

P(c\leq X\leq c+l)=\int_{c}^{c+l}f(x)dx=\frac{l}{b-a}

(2)指数分布

X\sim e(\lambda)

f(x)=\left\{\begin{aligned}&\lambda e^{-\lambda x},&x>0\\&0,&x\leq 0\end{aligned}\right.

F(x)=\left\{\begin{aligned}&1-\lambda e^{-\lambda x},&x>0\\&0,&x\leq 0\end{aligned}\right.

在指数分布进行条件概率计算时,指数分布符合无记忆性

P(X\geq  x+\Delta x\mid X>x)=P(X\geq \Delta x)

即无论条件为何事,概率都等于变化量对应的概率

(3)正态分布

X \sim N(\mu,\sigma^2)

f(x)=\frac{1}{\sqrt{2\pi}\sigma  }e^{-\frac{(x-\mu )^2}{2\sigma^2}}

其中\mu是期望值(偏移量,方便理解),\sigma是标准差(幅值,方便理解),该函数无法积分,故正态分布无法正常计算,应将各形式的正态分布转化为标准正态分布(分布函数\Phi (x),密度函数\varphi (x))

标准正态分布表

F_x(a)=P(X\leq a)=\Phi(\frac{a-\mu}{\sigma})=1-F_x(-a)

2.5 随机变量函数的分布

已知X的概率分布和Y=g(x),求Y的概率分布

(1)X是离散型随机变量

列出Y的所有可能值,y_1,y_2,y_3...y_j...,再找出对应y_j的X值的集合D,得

P(Y=y_j)=P(X\in D)

(2)X是连续型随机变量

方法1

F_Y(y)=P\left\{Y<y\right\}=P\left\{g(x)<y\right\}

解出x的范围a(y)和b(y)

F_Y(y)=\int_{a(y)}^{b(y)}f(x)

f_Y(y)=F’(y)

方法2

在法一中解出x的范围之后

F_Y(y)=F_X(b(y))+1-F_X(a(y))

再进行复合函数求导可求得f_Y(y)

一个我还不知道叫啥的定理

已知随机变量X的密度函数f_X(x),-\infty<x<+\infty,Y=g(x),并且g(x)是一个单调函数(导数恒大于零或恒小于零),则Y的概率密度函数为:

f_Y(y)=\left\{\begin{aligned}&f_X(h(y))\mid h’(y)\mid ,&\alpha <y<\beta \\&0,&\text{其他}\end{aligned}\right.

其中\alpha ,\beta 为Y的可能取值范围   \alpha =g(-\infty),\beta =g(+\infty),函数递减时反之

h是g的反函数

一般地,若X\sim N(\mu,\sigma^2),则有Y=aX+b\Rightarrow Y\sim N(a\mu+b,a^2\sigma^2)


第三章 随机向量及其概率分布

3.1二维随机变量的联合分布函数

二维随机变量相当于AB两个事件同时发生

P(x,y)=P(y)P(x\mid y)

联合分布函数F(X,Y)的性质:

1.单调不降

2.对于任意的变量,满足:

P(x_1<X\leq x_2,y_1<Y\leq y_2)=F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)\geq 0

二维离散型随机向量

1.二维0—1分布

2.三项分布

二维连续型随机向量

F(x,y)=\int_{-\infty}^{y}\int_{-\infty}^{x}f(x,y)dxdy

f(x,y)=\frac{\partial^2F(x,y)}{\partial x\partial y}

二重微积分,利用参数方程等进行简化

1.二维均匀分布

2.二维正态分布

3.2边缘分布

边缘分布即X、Y两事件中有一件为必然发生的事件,在分布表上体现为某一行或某一列的求和

二维正态分布的边缘分布是一维正态分布

3.3条件分布

P(Y=y_j\mid X=x_i)=\frac{P(X=x_i,Y=y_j)}{P(X=x_i)}=\frac{p_{ij}}{p_{i\cdot}}

即,上式为常规的二维向量,下部为条件的边缘分布

条件分布的密度函数与之类似

3.4随机事件的独立性

与一维随机事件类似,通过比较下列等式即可证明随机事件的独立性

F(x,y)=F_X(x)F_Y(y)

需要注意的是,下式也满足证明随机事件的独立性

f(x,y)=f_X(x)f_Y(y)

3.5 n维随机向量

3.6 随机向量函数的分布

二维连续型随机向量函数的分布密度

先求Z=g(x,y)的分布函数,再两边对z求导得到概率密度函数

当X和Y相互独立,且已知f_x(x)f_y(y),则f_z(z)=\int_{-\infty}^{\infty} f_x(x)f_y(z-y)dxf_z(z)=\int_{-\infty}^{\infty} f_x(z-x)f_y(y)dy,即卷积


\Gamma(\alpha)=\int_{0}^{+\infty} x^{\alpha-1}e^{-x}dx,\alpha>0

\Gamma(\alpha+1)=\alpha\Gamma(\alpha)

最小值、最大值的分布

F_{min}(z)=1-\prod_{i=1}^n (1-F_{X_i}(z_i))

F_{max}(z)=\prod_{i=1}^n F_{X_i}(z_i)

第四章 随机变量的数字特征

4.1数学期望

离散型:

若级数\sum_{k=1}^\infty |x_k|p_k收敛,则随机变量X的数学期望存在,为\sum_{k=1}^\infty x_kp_k

连续型:

若积分\int_{-\infty}^{+\infty} |x|f(x)dx存在,则称随机变量X的数学期望存在为\int_{-\infty}^{+\infty} xf(x)dx

常见随机变量的数学期望

1.(0-1)分布

EX=p

2.二项分布 b(n,p),设X的分布律为P(X=k)=C_n^kp^kq^{n-k}

EX=np

3.泊松分布P(\lambda ),设X的分布律为P(X=k)=\frac{\lambda ^k}{k!}e^{-\lambda}

EX=\lambda

4.超几何分布

EX=\frac{nM}{N}

5.均匀分布

EX=\frac{a+b}{2}

6.指数分布

EX=\frac{1}{\lambda}

7.正态分布

EX=\mu

随机变量函数的数学期望

一维函数

离散型:

验证数学期望存在:\sum_{k=1}^{\infty}g(x_k)p_k绝对收敛

EX=\sum_{k=1}^{\infty}g(x_k)p_k

连续型:

验证数学期望存在:\int_{-\infty}^{+\infty} g(x)f(x)dx绝对收敛

EX=\int_{-\infty}^{+\infty} g(x)f(x)dx

二维函数

离散型:

验证数学期望存在:\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}g(x_i,y_j)p_{ij}绝对收敛

EX=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}g(x_i,y_j)p_{ij}

连续型:

验证数学期望存在:\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x,y)f(x,y)dxdy绝对收敛

EX=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x,y)f(x,y)dxdy

两个特殊的数学期望

1.EX(X-1)

X符合二项分布时:EX(X-1)=n(n-1)p^2

X符合泊松分布时:EX(X-1)=\lambda^2

2.

X符合标准正态分布N(0,1)

EX^4=3

数学期望的性质

1.c是常数,Ec=c

2.E(aX+b)=aEX+b

3.E(X+Y)=EX+EY

4.EXY=EXEY

4.2随机变量的方差

方差的定义:DX=E(X-EX)^2=Var(X)

标准差或均方差:\delta (X)=\sqrt{DX}

以上两个值都是反应随机变量的波动性,越小越集中,越大越分散

离散型随机变量方差

DX=\sum_{k=1}^\infty (x_k-EX)^2p_k

连续型随机变量方差

DX=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx

计算方差公式

DX=EX^2-(EX)^2

常见随机变量的方差

1.(0-1)分布   DX=p(1-p)

2. 二项分布 X~b(n,p)  DX=np(1-p)

3.泊松分布 X~P(\lambda)   DX=\lambda

4.超几何分布 X~H(N,M,n)  DX=\frac{nM(N-n)(N-M)}{N^2(N-1)}

5.均匀分布 DX=\frac{(b-a)^2}{12}

6.指数分布DX=\frac{1}{\lambda ^2}

7.正态分布 DX=\sigma ^2

方差的性质

1.c是常数,Dc=0

2.D(aX+b)=a^2DX

3.D(X\pm Y)=DX+DY,X和Y是两个独立的随机变量

4.DX=0的充要条件是,X取某个常数c的概率为1

切比雪夫不等式

设随机变量X具有数学期望EX=\mu,方差DX=\sigma ^2,则对任意的\varepsilon >0,有

P(|X-\mu|>\varepsilon)\leq \frac{\sigma ^2}{\varepsilon^2}或等价式P(|X-\mu|\leq\varepsilon)\geq 1- \frac{\sigma ^2}{\varepsilon^2}

4.3协方差与相关系数

一、协方差和相关系数

%协方差或许也可以称作二维随机变量方差?

E(X-EX)(Y-EY)=0,说明X,Y相互独立

E(X-EX)(Y-EY)存在,则记Cov(X,Y)=E(X-EX)(Y-EY)为X与Y的协方差,称\rho _{XY}=\frac{Cov(X,Y)}{\sqrt{DXDY} }为X与Y的相关系数。

协方差与相关系数都是刻画两个随机变量相互依赖关系的数字特征量。

对方差性质的推广D(X\pm Y)=DX+DY\pm Cov(X,Y)

计算协方差时,常采用Cov(X,Y)=EXY-EXEY

联合分布的期望减去边缘分布期望的乘积

二、协方差与相关系数的性质

1.Cov(X,Y)=Cov(Y,X)

2.Cov(X,X)=DX

3.Cov(X,c)=0,c是常数

4.Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)

5.X_1,X_2是两个随机变量,已知他们的相关系数\rho _{X_1X_2},a_i,b_i(i=1,2)是常数,Y_i=a_iX+b_i,a_i\neq 0,DX_i>0(i=1,2),则Y_1,Y_2的相关系数

\rho _{Y_1Y_2}=\frac{a_1a_2}{|a_1a_2|}\rho _{X_1X_2}

三、独立与不相关的联系

若相关系数\rho_{XY}=0(Cov(X,Y)=0),则称X,Y是不相关的

独立一定不相关,但不相关不一定独立


第五章 极限定理

5.1大数定理

依概率收敛

X_1,X_2,...,X_n是一随机变量序列,若存在随机变量X,使得对任意正数\varepsilon >0,恒有

\lim_{n\to\infty} P(|X_n-X|\geq \varepsilon)=0\lim_{n\to\infty} P(|X_n-X|< \varepsilon)=1,则称随机变量序列依概率收敛于X,记为\lim_{n\to\infty} X_n=X(P)

若一个随机变量序列满足依概率收敛,则称该随机变量符合大数定律(符合大数定律的证明

切比雪夫大数定律

一列相互独立的随机变量,数学期望和方差都存在且方差一致有界,则该序列满足大数定律

\lim_{n\to \infty}P(\mid \frac{1}{n} \sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}EX_i\mid \geq \varepsilon)=0

辛钦大数定律

一串相互独立同分布的随机变量序列,他们有有限的数学期望,则该序列符合大数定律

\lim_{n\to \infty}P(\mid \frac{1}{n} \sum_{i=1}^{n}X_i-\mu\mid < \varepsilon)=1

辛钦大数定律证明了算术平均值在n特别大的情况下是与期望的差距很小的,可作为期望的近似值,证明了一致估计性

伯努利大数定律

n_A是n次独立重复事件A发生的次数,p是A发生的概率

\lim_{n\to \infty}P(\mid \frac{n_A}{n}-p\mid \geq \varepsilon)=0

伯努利大数定律证明了在n很大时,A发生的频率与概率相差无几,证明了频率的稳定性


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 162,825评论 4 377
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,887评论 2 308
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 112,425评论 0 255
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,801评论 0 224
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 53,252评论 3 299
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 41,089评论 1 226
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,216评论 2 322
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 31,005评论 0 215
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,747评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,883评论 2 255
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,354评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,694评论 3 265
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,406评论 3 246
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,222评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,996评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,242评论 2 287
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 36,017评论 2 281

推荐阅读更多精彩内容