Law of large numbers

A law relating to probability. There are Bernoulli's law of large numbers and strong law of large numbers. If a dice is rolled many times, it is expected that the number that will come up is 6 approximately 1/6 of the total number of times. Let us consider this fact in a generalized way. If the probability that an event E occurs in a trial is p, and the number of times that event E occurs when this trial is repeated independently n times is represented as Xn, then if n is taken to be sufficiently large, then the relative frequency Xn/n will be almost close to p, except in exceptional cases. This is called Bernoulli's law of large numbers. In more detail, it goes as follows. The above Xn is a random variable, and its probability distribution is the binomial distribution B(n,p), where

Applying Chebyshev's theorem to the random variable Yn=Xn/n, we get P(|Y _n -p|≧(cσ _n )/n) where σn=σ(Xn).
≦1/ ^c2
Here, c is any number greater than 1. If we set ε=cσ _n /n, then P(|Y _n -p|≧ε)
≦p(1-p)/ ^nε2
Therefore, for any two given positive numbers ε and η, if we take n to be sufficiently large (such that p(1-p)/ηε ² < n),

This is Bernoulli's law of large numbers.

If we look at Bernoulli's law of large numbers from the other perspective, we are led to the idea that the value of p (even when the value is unknown) can be estimated by the relative frequency X _n /n from a large number of experiments. De Moivre had also arrived at this idea. Bernoulli's law of large numbers is essentially about the finite case. What happens when n is infinitely large? In the original dice example, if the number of times a six appears in n tries is Xn, the following relationship holds:

This theorem was first proven by Borel, and has deeper meaning than Bernoulli's law of large numbers, so it is called the strong law of large numbers. In its general form, it is as follows. Let _X1 , _X2 , ..., Xn, ... be random variables, and the variance of each Xi be less than a certain value. ^σ2 (Xi)≦ ^σ2 ＜∞, and let _X1 , _X2 , ..., Xn, ... be independent. In this case,

holds true.

[Shigeru Furuya]

Source: Shogakukan Encyclopedia Nipponica About Encyclopedia Nipponica Information | Legend

確率に関する法則。ベルヌーイの大数の法則と、大数の強法則とがある。さいころを多数回投げると、6の目が出るのは全体の回数のほぼ1/6であることが期待される。この事実を一般化して考える。ある試行において事象Eのおこる確率をpとし、この試行を独立にn回繰り返すとき事象Eのおこる回数をXnで表すと、nを十分大きくとれば、相対度数Xn/nは、例外的な場合を除けばほぼpに近い。これをベルヌーイの大数の法則という。この内容をさらに詳しくいうと次のようになる。上記のXnは確率変数で、その確率分布は二項分布B(n,p)であって、

となる。確率変数Yn=Xn/nに対して、チェビシェフの定理を適用すると、σn=σ(Xn)として
　　P(|Y_n-p|≧(cσ_n)/n)
　　　　　　　≦1/c²
となる。ただしcは1より大きい任意の数である。ここでε=cσ_n/nと置けば
　　P(|Y_n-p|≧ε)
　　　　　　　≦p(1-p)/nε²
したがって任意に与えられた二つの正数ε、ηに対してnを十分大きくとれば（p(1-p)/ηε²＜nのように）

が成り立つ。これがベルヌーイの大数の法則である。

　ベルヌーイの大数の法則について見方を逆にすると、多数回の実験による相対度数X_n/nによってp（その値が未知であるときにも）の値が推定されるという考えに導かれる。ド・モアブルもこの考えに到達していた。ベルヌーイの大数の法則は実質上は有限の場合の話である。nが無限に大きい場合はどうなるか。初めのさいころの例についていえば、n回のうちに6の目が出る回数をXnとすると、次の関係が成り立つ。

これはボレルが初めて証明した定理で、ベルヌーイの大数の法則より深い内容をもち、大数の強法則とよばれている。一般の形でいえば次のようになる。X₁、X₂、……、Xn、……は確率変数で、各Xiの分散は一定値以下であるとする。σ²(Xi)≦σ²＜∞、またX₁、X₂、……、Xn、……は独立とする。このとき

が成り立つ。

［古屋　茂］

出典　小学館　日本大百科全書(ニッポニカ)日本大百科全書(ニッポニカ)について　情報 | 凡例