正态分布的前世今生

转自-靳志辉(Rickjin@weibo.com)

神说要有正态分布,就有了正态分布。

神说正态分布是好的,就让随机误差服从了正态分布

创世纪---数理统计

密度函数公式
标准化后的密度函数
正态分布曲线

正态分布通常又称为高斯分布,其重要作用是使用在误差分析上

对于有误差的测量数据,多次测量取平均是一种比较好的做法;描述如下,我们假设想估计的量是b0,b1...bp,另外有若干可以测量的量x1,...xp,y,这些量之间存在线性关系

观测变量的线性假设

如何通过多组观测数据求解出参数b?欧拉和拉普拉斯采用的都是求解线性方程组的方法

线性方程组

但是面临的一个问题是,有n组观测数据,p+1个变量,如果n>p+1,则无法求解。

因为存在这样的矛盾,因此采用最小二乘法来解决,其基本思想就是认为测量中有误差,所以所有方程的累积误差为

最小二乘公式

我们求解出导致累积误差最小的参数即可。

线性回归模型

最小二乘法的优良性作了几点说明:

1. 最小二乘法使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位

2. 计算中只要求偏导后求解线性方程组,计算过程明确便捷

3. 最小二乘可以导出算术平均值作为估计值

单说最小二乘本身是一个代数方法,虽然可以导出最优解,对于解的误差有多大?无法给出有效分析,高斯把最小二乘法和正态分布联系在了一起,并使得正态分布在统计误差分析中确立了自己的地位。

------寻找随机误差分布规律

经验(算术平均可以消除误差,提高精度)---问题是随机误差服从什么分布?伽利略说1.误差是对称分布的;2. 大的误差出现的频率低,小的误差出现频率高

拉普拉斯加入

拉普拉斯的误差态分布曲线
拉普拉斯误差分布函数

高斯猜想

误差分布导出的极大似然估计=算术平均值

那么正态分布就由极大似然估计推出,基于这个误差分布函数对最小二乘法给出了一个非常漂亮的解释。对于最小二乘法中的每个误差ei服从正态分布,那么对于误差e1,e2,...en的联合概率分布为

误差联合概率分布

要使这个概率最大,那么就是求误差平方和最小。因此,高斯所拓展的最小二乘法就称为了19世纪统计学的重要成就。相当于18世纪数学上的微分学。

而我们熟知的公式实际是由二阶微分方程推导所得出

-------正态分布与最大熵

概率分布熵

p(x)概率分布的熵

均值μ是一阶原点矩,方差是二阶原点矩。因此熵的最大的概率分布p(x|μ,方差)就是正态分布

因此最大熵的分布就是正态分布。正态分布熵的大小,取决于方差的大小。熵的大小反应概率分布中的信息量,而正态分布的形态是由方差所决定。因此信息量与方差有着重要关系

----拉普拉斯中心极限定理

设X1,X2,...,Xn独立同分布,且具有有限均值μ和方差,则在n->无穷

中心极限定理
无数的分布在线性加和下趋近于正态分布

----统计分析和误差分析是两种不同的概念

统计分析--对不同对象的测量

误差分析--对同一对象的多次测量

把统计和概率论联系在一起-----正态分布对于统计数据的拟合

高尔顿钉版证明当n趋近于无穷二项分布趋近于正态分布

----20世纪的三大分布卡方分布、t分布和f分布

人工实验条件下所得数据的统计分析问题,逐渐被人们重视,由于实验数据量有限,依赖于正态分布的方法开始遭到质疑

在这个背景下,统计学三大分布卡方分布,t分布,F分布开始登上历史舞台(英国三大数理统计学家)

---Pearson

Pearson进一步推导了卡方分布,最早的提出者是物理学家推导空气分子的运动速度,发现在三个坐标轴上分别呈正态分布,而分子运动速度的平方v^2符合自由度为3的卡方分布。Pearson的假设检验

卡方分布

----t分布

戈塞特提出了样本均值与标准差比值的分布

t分布

---F分布 fisher

极大似然估计,X和Y分别服从卡方分布

F分布

回归正态分布

1. 为什么正态分布被如此广泛地使用?

2. 为什么正态分布在实践使用中非常成功?

Jaynes指出,正态分布在实践中成功地被广泛应用,主要是因为正态分布在数学方面具有多种稳定性质,这些性质包括:

1. 两个正态分布密度的乘积还是正态分布

2. 两个正态分布密度的卷积还是正态分布,也就是两个正态分布的和还是正态分布

3. 正态分布的傅里叶变换还是正态分布

4. 中心极限定理保证了多个随机变量的求和效应将导致正态分布效应

5. 正态分布和其他具有相同方差的其他分布相比,具有最大熵

前三个性质保证正态分布的形态稳定。后两个性质说明其他分布在各种操作下容易越来越接近正态分布

正态分布具有最大熵性质,所以任何一个对指定概率分布的操作,如果该操作保持方差大小,却减少已知知识,该操作不可避免地增加概率分布的信息熵,导致概率分布向正态分布靠近。

正态分布还有一个经常使用的原因正是由于它的最大熵性质。在很多时候我们没有任何外界知识知道数据的真实分布是什么,但是均值和方差往往是稳定的,我们能从数据中获取到比较好的知识就是均值和方差,除此之外没有其他更加有用的信息量。因此按照最大熵原理,在给定知识的限制下,选择熵最大的概率分布。

正态分布的一些神奇的数学性质

推荐阅读更多精彩内容