Prawo wielkich liczb

Prawa wielkich liczb – seria twierdzeń matematycznych (jedno z tzw. twierdzeń granicznych) opisujących związek między liczbą wykonywanych doświadczeń a faktycznym prawdopodobieństwem wystąpienia zdarzenia, którego te doświadczenia dotyczą. Najprostsza postać prawa wielkich liczb to prawo Bernoulliego orzekające, że:

„Z prawdopodobieństwem dowolnie bliskim 1 można się spodziewać, iż przy dostatecznie wielkiej liczbie prób częstość danego zdarzenia losowego będzie się dowolnie mało różniła od jego prawdopodobieństwa.”

Ta postać jest historycznie najwcześniejsza; sformułował ją szwajcarski matematyk Jakob Bernoulli w 1713 roku w książce Ars Conjectandi. Nazwał to twierdzenie „złotym”, inni matematycy – twierdzeniem Bernoulliego, a Siméon Denis Poisson w 1835 roku – prawem wielkich liczb; ta ostatnia nazwa stała się najczęstszą.

Prawa wielkich liczb

Prawo wielkich liczb Bernoulliego

Jeśli $S_{n}$ oznacza liczbę sukcesów w schemacie Bernoulliego $n$ prób z prawdopodobieństwem sukcesu w pojedynczej próbie równym $p,$ to dla każdego $\varepsilon >0$

$\lim _{n\to \infty }{\mathsf {P}}\left(\left|{\frac {S_{n}}{n}}-p\right|\leqslant \varepsilon \right)=1.$

Słownie: niezależnie od wyboru szerokości przedziału wokół wartości oczekiwanej, prawdopodobieństwo dla dużych $n$ będzie dowolnie bliskie $1.$

Dowód słabego prawa wielkich liczb opiera się na nierówności Czebyszewa.

Mocne prawo wielkich liczb Bernoulliego mówi, że ciąg ${\tfrac {S_{n}}{n}}$ dąży do $p$ prawie na pewno. Dowód tego faktu wykorzystuje nierówność Bernsteina.

Mocne prawo wielkich liczb

Dla ciągów (całkowalnych) zmiennych losowych wprowadza się definicję spełniania przez nich tzw. mocnego (i słabego) prawa wielkich liczb.

Ciąg zmiennych losowych $(X_{n})_{n=1}^{\infty }$ spełnia mocne prawo wielkich liczb (MPWL), gdy

${\frac {1}{n}}\sum _{k=1}^{n}(X_{k}-{\mathsf {E}}X_{k})\xrightarrow {\text{prawie na pewno}} 0.$

Mocne prawo wielkich liczb Kołmogorowa

Jeżeli $(X_{n})_{n=1}^{\infty }$ jest ciągiem niezależnych zmiennych losowych całkowalnych z kwadratem oraz

$\sum _{n=1}^{\infty }{\frac {{\mathsf {Var}}X_{n}}{n^{2}}}<\infty ,$

to ciąg $(X_{n})_{n=1}^{\infty }$ spełnia MPWL.

Wynika z niego następujący wniosek: jeżeli $(X_{n})_{n=1}^{\infty }$ jest ciągiem niezależnych zmiennych losowych o tym samym rozkładzie oraz ${\mathsf {E}}|X_{1}|<\infty ,$ to

${\frac {1}{n}}\sum _{k=1}^{n}X_{k}{\xrightarrow {p.n.}}{\mathsf {E}}X_{1}$

prawie na pewno.

Twierdzenie Kołmogorowa

W ogólności, jeśli $(a_{n})_{n\in \mathbb {N} }$ jest rosnącym do nieskończoności ciągiem liczb dodatnich, a ponadto zbieżny jest szereg

$\sum _{n=1}^{\infty }{\frac {{\mathsf {Var}}X_{n}}{a_{n}^{2}}},$

to

$\lim _{n\to \infty }{\frac {1}{a_{n}}}\sum _{k=1}^{n}(X_{k}-{\mathsf {E}}X_{k})=0$

prawie na pewno.

Dowód twierdzenia opiera się na znanych z analizy lematach Toeplitza oraz Kroneckera, a także następującym fakcie z rachunku prawdopodobieństwa: jeśli $(X_{n})_{n=1}^{\infty }$ jest ciągiem całkowalnych niezależnych zmiennych losowych całkowalnych z kwadratem oraz szereg

$\sum _{n=1}^{\infty }{\mathsf {Var}}X_{n}$

jest zbieżny, to szereg

$\sum _{n=1}^{\infty }(X_{n}-{\mathsf {E}}X_{n})$

jest zbieżny prawie na pewno.

Słabe prawo wielkich liczb

Mówimy, że ciąg zmiennych losowych $(X_{n})_{n=1}^{\infty }$ spełnia słabe prawo wielkich liczb (SPWL), gdy

$\lim _{n\to \infty }{\frac {1}{n}}\sum _{k=1}^{n}(X_{k}-{\mathsf {E}}X_{k})=0$

ze względu na prawdopodobieństwo.

Słabe prawo wielkich liczb dla parami niezależnych zmiennych o skończonej wariancji

Jeżeli $(X_{n})_{n=1}^{\infty }$ jest ciągiem parami niezależnych zmiennych losowych całkowalnych z kwadratami oraz

$\lim _{n\to \infty }{\frac {1}{n^{2}}}\sum _{k=1}^{n}{\mathsf {Var}}X_{k}=0,$

to ciąg $(X_{n})_{n=1}^{\infty }$ spełnia SPWL. Dowód tego faktu również opiera się na nierówności Czebyszewa.

Zobacz też

• centralne twierdzenie graniczne