论方差估计公式中为什么是n-1

文 号

845291

4 回复 / 292 浏览


iamapighhh(楼主) 10 天前 -2018-04-14 15:418452910楼
按:前几天在一个帖子https://www.kechuang.org/t/82733讨论中提到了这个问题,虎哥建议我单独开一个贴,于是我就把前几天写的粘在这里吧。

我们在《大学物理实验》中使用的,用于估计多次重复测量同一物理量的标准差计算公式如下:
\[\sigma=\sqrt{\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n-1}}\]
而这与高中学习过的方差的计算公式:
\[\sigma^2=\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n}\]
略有不同。这是为什么?我试着把这个问题说清楚。下面的计算只使用了本科水平的概率论知识。

使用某物理仪器对同一物理量重复测量\(n\)次,此时每次测量结果视为\(n\)个独立同分布的随机变量,记为\(X_1,X_2.....X_n\),或者更数学化地\(\{X_i\}_{1\leq i \leq n}\). 同时我们假设这些随机变量都符合均值\(\mu\),方差\(\sigma^2\)的随机分布\(D(\mu,\sigma^2)\),且存在概率密度分布函数\(f\)(之所以这样说,是因为某些分布方差可以不存在,某些分布可以没有常规意义上的分布函数)。 此时我们为了从\(\{X_i\}_{1\leq i \leq n}\)获取方差的估计值\(\hat{\sigma}^2\),需要选取一个估计函数 (estimator),此函数接受\(n\)个测量值\(\{X_i\}_{1\leq i \leq n}\)作为自变量, 输出方差的估计值, 即:\[est: \mathbb{R}^n \rightarrow \mathbb{R}\] \[\{X_i\}_{1\leq i \leq n} \mapsto \hat{\sigma}^2\]
很显然这样的函数有无数种选取方式, 对应无数种不同的估计方差的方式。而由于\(\{X_i\}_{1\leq i \leq n}\)是一族随机变量,则\(est(\{X_i\}_{1\leq i \leq n})=\hat{\sigma}^2\)也是一个随机变量。

由于估计函数选取的任意性,我们需要一定的标准来判断估计的好与坏。为此,统计学家提出了无偏估计,最大似然估计等等标准。 这里我们先使用最简单的无偏估计: 如果这个估计函数满足:\[E[\hat{\sigma}^2]=E[est(X_1,X_2.....X_n)]=\sigma^2\]
我们就把这个估计称为一个无偏估计。

无偏估计的定义是符合直觉的:如此估计出的数值虽然有误差,但误差的期望为零。

有了基本的理论指导,我们先计算一下
\begin{eqnarray*}
\sum_{i=1}^{n}(X_i-\bar{X})^2&=& \sum_{i=1}^{n}X_i^2 + \sum_{i=1}^{n} \bar{X}^2 -2\bar{X}\sum_{i=1}^{n}X_i\\
&=&\sum_{i=1}^{n}X_i^2 + n\bar{X}^2 -2n\bar{X}^2\\
&=&\sum_{i=1}^{n}X_i^2 - n\bar{X}^2\\
&=&\sum_{i=1}^{n}X_i^2 - \frac{1}{n} (\sum_{i=1}^{n}X_i)^2 \\
&=&\frac{n-1}{n}\sum_{i=1}^{n}X_i^2 -\frac{2}{n} \sum_{i=1}^n\sum_{j=1}^{i-1}X_iX_j
\end{eqnarray*}
哦,这里开始出现我们在大学物理实验教材上处理数据用的,含有\(n-1\)的式子了。我们进一步研究一下这两类项的期望:
\begin{eqnarray*}
\forall 1\leq i \neq j \leq n, E[X_iX_j]&=&\iint_{\mathbb{R}^2}f(x)xf(y)ydxdy\\
&=&\int_{\mathbb{R}}f(x)xdx\int_{\mathbb{R}}f(y)ydy\\
&=&E[X]^2=\mu^2
\end{eqnarray*}当然,这个结果充分使用了我们假设的前提条件。另外根据非常容易证明的:\[\sigma^2=E[X^2]-\mu^2\]
可以得到:
\[\forall  1\leq i \leq n, E[X_i^2]=\sigma^2+\mu^2  \]
目前原料都准备好了,可以下锅炒菜了。当然,如果你常做计算的话,现在就能看到最终结果了。我们对\(\sum_{i=1}^{n}(X_i-\bar{X})^2\)取期望:
\begin{eqnarray*}
E[\sum_{i=1}^{n}(X_i-\bar{X})^2] &=& \frac{(n-1)n(\sigma^2+\mu^2)  - n(n-1)\mu^2 }{n}\\
&=& (n-1)\sigma^2
\end{eqnarray*}
于是我们可以根据以上计算构造出物理实验课本上的那个实验数据标准差的估计公式,而且我们确信这个估计是个对于标准差的无偏估计。同时我们也知道了为什么这个公式里出现的是\(n-1\)而不是\(n\)。

由于每次的测量结果是随机变量,最终估计出的标准差也是随机变量。而且,它应当满足某种分布。如果我们要保证某种量具的误差足够小,我们在估计出这种测量方法的标准差还不够,还需要计算\(\sigma\)这个随机变量的分布,才能更好地确定仪器的误差范围。这对于基准传递是很重要的。

就我个人来看,以上计算是容易完成的,并未使用高深的知识技巧。在大学物理实验中只简单地交代了公式却未能给出解释是个遗憾。

[修改于 7 天前 - 2018-04-16 21:38:51]

+1  学术分   虎哥   2018-04-15   能用解析方法推出来还是厉害

浪里黑条9 天前 -2018-04-14 18:048452921楼
建议楼主在标题前加一个"论"字,要不然看着像提问贴~

iamapighhh(楼主) 8 天前 -2018-04-16 00:198453332楼
引用 浪里黑条:
建议楼主在标题前加一个"论"字,要不然看着像提问贴~
很中肯的建议。不过我记得科创的帖子发表之后无法继续编辑了。那我下次注意好啦。

iamapighhh(楼主) 8 天前 -2018-04-16 00:208453343楼
@虎哥 想不到我第一个学术分是这么来的。哈哈。

虎哥8 天前 -2018-04-16 11:028453394楼
引用 iamapighhh:
楼主写得很好,加上对理论探讨KC一贯大力支持,即使是科普性的也如此。
论坛帖子一年内都可以编辑,KC的系统像维基,所有历史版本都有记录,改错了还可以回滚。


返回数学
返回本页顶部

想参与大家的讨论?现在就 登陆 或者 注册


nkc production Server  https://github.com/kccd/nkc

科创研究院 (c)2005-2016

蜀ICP备11004945号-2 川公网安备51010802000058号