大數法則

统计学系列条目
概率論
概率 概率公理 決定論 非決定論 随机性
概率空間 概率测度 样本空间 随机试验 伯努利試驗 事件 互補事件 互斥 基本事件（英语：Elementary_event） 结果 单元素
随机变量 期望值 條件概率 概率分布 離散型均勻分佈 伯努利分布 二項式分布 幾何分佈 负二项分布 超几何分布 泊松分布 连续型均匀分布 正态分布 对数正态分布 多元正态分布 指数分布 Gamma分布 Beta分布 帕累托分布 联合分布 边缘分布
随机过程 伯努利过程 隨機漫步 维纳过程 馬可夫過程 伊藤過程
統計獨立性 条件独立 全概率公式 大数定律 贝叶斯定理 布尔不等式
文氏图 樹形圖
查 论 编

在數學與統計學中，大数定律（英語：Law of large numbers）又称大数法则、大数律，是描述相当多次数重复实验的结果的定律。根据这个定律知道，樣本數量越多，則其算术平均值就有越高的機率接近期望值。

大数定律很重要，因为它“說明”了一些随机事件的均值的长期稳定性。人们发现，在重複試驗中，随着试验次数的增加，事件发生的频率趋于一个稳定值；人们同时也发现，在对物理量的测量实践中，测定值的算术平均也具有稳定性。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一，亦即偶然之中包含着必然。

上述现象是切比雪夫不等式的一个特殊应用情况，辛钦定理和伯努利大数定律也都概括了这一现象，它们统称为大数定律。

举例

例如，抛掷一颗均匀的6面的骰子，1，2，3，4，5，6应等概率出现，所以每次扔出骰子後，出現點數的期望值是

${\displaystyle {\frac {1+2+3+4+5+6}{6}=3.5}$

根据大数定理，如果多次抛掷骰子，随着抛掷次数的增加，平均值（样本平均值）应该接近3.5，根据大数定理，在多次伯努利实验中，实验频率最后收敛于理论推断的概率值，对于伯努利随机变量，理论推断的成功概率就是期望值，而若对n个相互独立的随机变量的平均值，频率越多则相对越精准。

例如硬币投掷即伯努利实验，当投掷一枚均匀的硬币，理论上得出的正面向上的概率应是1/2。因此，根据大数定理，正面朝上的比例在相对“大”的数字下，“理应”接近为1/2，尤其是正面朝上的频率在n次实验（n接近无限大时）后应几近收敛到1/2。

即使正面朝上（或背面朝上）的比例接近1/2，几乎很自然的正面与负面朝上的绝对差值（absolute difference差值范围）应该相应随着抛掷次数的增加而增加。换句话说，绝对差值的概率应该是会随着抛掷次数而接近于0。直观的来看，绝对差值的期望会增加，只是慢于抛掷次数增加的速度。

表现形式

大数定律主要有两种表现形式：弱大数定律和强大数定律。定律的两种形式都肯定无疑地表明，样本均值

${\displaystyle {\overline {X}_{n}={\frac {1}{n}(X_{1}+\cdots +X_{n})}$

收敛于真值

${\displaystyle {\overline {X}_{n}\to \mu \quad {\textrm {as}\quad n\to \infty }$

其中 ${\displaystyle X_{1}$, ${\displaystyle X_{2}$, ... 是独立同分布、期望值${\displaystyle \operatorname {E} (X_{1})=\operatorname {E} (X_{2})=\,\cdots \,=\mu }$ 且皆勒贝格可积的随机变量构成的无穷序列。${\displaystyle X_{j}$的勒贝格可积性意味着期望值 ${\displaystyle \operatorname {E} (X_{j})}$存在且有限。

方差${\displaystyle \operatorname {Var} (X_{1})=\operatorname {Var} (X_{2})=\,\cdots \,=\sigma ^{2}<\infty }$有限的假设是非必要的。很大或者无穷大的方差会使其收敛得緩慢一些，但大数定律仍然成立。通常采用这个假设来使证明更加简洁。

强和弱之间的差别在所断言的收敛的方式。对于这些方式的解释，参见随机变量的收敛。

弱大数定律

弱大数定律(WLLN) 也称为辛钦定理，陈述为：样本均值依概率收敛于期望值。^[1]

${\displaystyle {\overline {X}_{n}\ {\xrightarrow {P}\ \mu \quad {\textrm {as}\quad n\to \infty }$

也就是说对于任意正数 ε,

${\displaystyle \lim _{n\to \infty }P\left(\,|{\overline {X}_{n}-\mu |>\varepsilon \,\right)=0}$

强大数定律

强大数定律(SLLN)指出，样本均值以概率1收敛于期望值。

${\displaystyle {\overline {X}_{n}\ {\xrightarrow {\text{a.s.}\ \mu \quad {\textrm {as}\quad n\to \infty }$

即

${\displaystyle P\left(\lim _{n\to \infty }{\overline {X}_{n}=\mu \right)=1}$

切比雪夫定理的特殊情况

设 ${\displaystyle a_{1},\ a_{2},\ \dots \ ,\ a_{n},\ \dots }$ 为相互独立的随机变量，其数学期望为：${\displaystyle \operatorname {E} (a_{i})=\mu \quad (i=1,\ 2,\ \dots )}$，方差为：${\displaystyle \operatorname {Var} (a_{i})=\sigma ^{2}\quad (i=1,\ 2,\ \dots )}$

则序列${\displaystyle {\overline {a}={\frac {1}{n}\sum _{i=1}^{n}a_{i}$依概率收敛于${\displaystyle \mu }$（即收敛于此数列的数学期望${\displaystyle E(a_{i})}$）。

换言之，在定理条件下，当${\displaystyle n}$无限变大时，${\displaystyle n}$个随机变量的算术平均将变成一个常数。

伯努利大数定律

设在${\displaystyle n}$次独立重复伯努利试验中，事件${\displaystyle X}$发生的次数为${\displaystyle n_{x}$，事件${\displaystyle X}$在每次试验中发生的母體機率为${\displaystyle p}$，${\displaystyle {\frac {n_{x}{n}$代表樣本發生事件${\displaystyle X}$的频率。

则对任意正数${\displaystyle \varepsilon >0}$，伯努利大数定律表明：

${\displaystyle \lim _{n\to \infty }{P{\left\{\left|{\frac {n_{x}{n}-p\right|<\varepsilon \right\}=1}$

換言之，事件发生的频率依機率收敛于事件的母體機率。該定理以严格的数学形式表达了频率的稳定性，也就是说当${\displaystyle n}$很大时，事件发生的频率于母體機率有较大偏差的可能性很小。

参见

• 概率论
• 中央極限定理

参考文献

外部連結

• 二項分布與大數法則理論與實際相連（页面存档备份，存于互联网档案馆）

规范控制 BNF: cb11978788d (data) FAST: 994048 GND: 4157077-7 J9U: 987007558155705171 LCCN: sh85075318 SUDOC: 027830632