到的估计值 \hat{\theta}称为极大似然估计。高斯首次给出了极大似然的思想,这个思想后来被统计学家 R.A.Fisher 系统的发展成为参数估计中的极大似然估计理论。Р高斯接下来的想法特别牛,他开始揣度上帝的意图,而这充分体现了高斯的数学天才。高斯把整个问题的思考模式倒过来:既然千百年来大家都认为算术平均是一个好的估计,那我就认为极大似然估计导出的就应该是算术平均!所以高斯猜测上帝在创世纪中的旨意就是:Р误差分布导出的极大似然估计= 算术平均值Р然后高斯去找误差密度函数 f以迎合这一点。即寻找这样的概率分布函数 f, 使得极大似然估计正好是算术平均 \hat{\theta} = \bar{x}。而高斯应用数学技巧求解这个函数f, 高斯证明(证明不难,后续给出),所有的概率密度函数中,唯一满足这个性质的就是Р瞧,正态分布的密度函数 N(0, \sigma^2)被高斯他老人家给解出来了!Р【正态误差态分布律】Р进一步,高斯基于这个误差分布函数对最小二乘法给出了一个很漂亮的解释。对于每个误差 e_i,有 e_i \sim N(0, \sigma^2), 则(e_1, \cdots, e_n)的联合概率分布为Р要使得这个概率最大,必须使得\sum_{i=1}^n e_i^2 取最小值,这正好就是最小二乘法的要求。Р高斯所拓展的最小二乘法成为了十九世纪统计学的最重要成就,它在十九世纪统计学的重要性就相当于十八世紀的微积分之于数学。而勒让德和最小二乘的的发明权之争,成了数学史上仅次于牛顿、莱布尼茨微积分发明的争端。相比于勒让德1805给出的最小二乘法描述,高斯基于误差正态分布的最小二乘理论显然更高一筹, 高斯的工作中既提出了极大似然估计的思想,又解决了误差的概率密度分布的问题, 由此我们可以对误差的大小的影响进行统计度量了。高斯的这项工作对后世的影响极大,而正态分布也因此被冠名
全文预览
