Funkcja charakterystyczna (teoria prawdopodobieństwa)

Z Wikipedii

Ten artykuł dotyczy teorii prawdopodobieństwa. Zobacz też: inne znaczenia tego wyrazu.

Definicja intuicyjna:
Odpowiednik transformaty Fouriera dla miar probabilistycznych, rozkładów prawdopodobieństwa i zmiennych losowych.

Spis treści

1 Własności
2 Przykłady
3 Momenty
4 Rozkłady
5 Dystrybuanta i gęstość
6 Niezależne zmienne losowe
7 Rozkłady wielowymiarowe
8 Literatura
9 Zobacz też

Funkcją charakterystyczną rozkładu prawdopodobieństwa $\mu\;$ nazywa się funkcję $\varphi: \mathbb R \to \mathbb C$ zadaną wzorem

$\varphi(t) = \int\limits_{\mathbb R} e^{its} \mu(ds)$ .

Jeżeli $X:\Omega \to \mathbb R$ jest zmienną losową, a $\mu_X\;$ jest jej rozkładem, to jej funkcja charakterystyczna może być zapisana jako

$\varphi_X(t) = \int\limits_{\mathbb R} e^{its} \mu_X(ds) = \mathbb Ee^{itX}$

gdzie $\mathbb E$ to wartość oczekiwana.

Funkcja charakterystyczna, podobnie jak dystrybuanta, koduje pełną informację o rozkładzie. Jest ona dobrze określona (istnieje dla każdego rozkładu). Dla rozkładów ciągłych jest to transformata Fouriera funkcji gęstości prawdopodobieństwa:

$\varphi_X(t) = \int\limits_{-\infty}^\infty e^{itx}f(x)dx\;$

stąd można ją uznać za uogólnienie transformaty Fouriera na dowolne rozkłady.

Dla rozkładów dyskretnych o masie prawdopodobieństwa skupionej w punktach $x_1,x_2,\dots,x_n$ :

$\varphi_X(t)=\sum\limits_{i=1}^n \operatorname{pmf}(x_i)e^{itx_i}$

[edytuj] Własności

$\varphi_X(0) = 1$ ,
$|\varphi_X(t)| \leqslant 1$ ,
$\varphi_X(t) = \overline{\varphi_X(-t)}$ ,
$\varphi_X$ jest dodatnio określona,
$\varphi_X(t)$ jest jednostajnie ciągła,
$\varphi_X$ jest funkcją rzeczywistą wtedy i tylko wtedy, gdy rozkład jest symetryczny,
$\lim\limits_{|t|\to\infty}\varphi_X(t)\to 0$ dla rozkładów ciągłych (twierdzenie Riemanna-Lebesgue'a).

Funkcja charakterystyczna funkcji liniowej $aX + b\;$ zmiennej losowej $X\;$ wyraża się za pomocą funkcji charakterystycznej zmiennej losowej $X\;$ wg następującego wzoru:

$\varphi_{aX + b}(t) = \varphi_X(at) e^{itb}$ .

[edytuj] Przykłady

Niżej podano funkcje charakterystyczne $\varphi_X(t)$ znanych rozkładów $μ X$ . Zawsze $n, k \in \mathbb N$ , $a, b, m, p, t, x, \lambda, \sigma \in \mathbb R$ , przy czym $p,λ > 0$ oraz $A \subseteq \mathbb R$ . Symbol $\mathbf 1_{A}(x)$ oznacza indykator zbioru $A$ .

Nazwa	Oznaczenie	Rozkład	Funkcja charakterystyczna
jednopunktowy	$δ a$	$\operatorname{pmf}(a) = 1$	$e a i t$
dwupunktowy		$\operatorname{pmf}(a) = p = 1 - \operatorname{pmf}(b)$	$p e a i t + (1 - p) e b i t$
Poissona	$Pois(λ)$	$\operatorname{pmf}(k) = \tfrac{\lambda^k}{k!} e^{-\lambda}$	$e^{\lambda(e^{it} - 1)}$
dwumianowy	$Binom(n, p)$	$\operatorname{pmf}(k) = \tbinom{n}{k} p^k (1-p)^{n-k}$	$(1-p + pe^{it})^n \!$
geometryczny	$Geom(n, p)$	$\operatorname{pmf}(k) = p(1-p)^{n - 1}$	$\tfrac{pe^{it}}{1-(1-p)e^{it}}$
jednostajny (na odcinku)	$U(a, b)$	$f(x) = \tfrac{1}{b - a} \mathbf 1_{[a, b]}(x)$	$\tfrac{e^{itb} - e^{ita}}{it(b-a)}$
wykładniczy	$Exp(λ)$	$f(x) = \lambda e^{-\lambda x}\;$	$\tfrac{\lambda}{\lambda - it}$
normalny standardowy	$N(0,1)$	$f(x) = \tfrac{1}{\sqrt{2\pi}} e^{-\tfrac{x^2}{2}}$	$e^{-\tfrac{t^2}{2}}$
normalny	$N(m,σ 2)$	$f_X(x) = \tfrac{1}{\sigma \sqrt{2\pi}} e^{-\tfrac{(x - m)^2}{2\sigma^2}}$	$e^{mit - \tfrac{(\sigma t)^2}{2}}$

[edytuj] Momenty

Z funkcji charakterystycznej $\varphi_X$ da się wyznaczyć momenty zmiennej losowej $X$ . Istnieje też częściowe odwrócenie tego twierdzenia dla momentów parzystych.

Twierdzenie: Jeżeli istnieje n-ty moment zmiennej losowej $X$ , tzn. $\mathbb E|X|^n < \infty$ , to istnieje również n-ta pochodna funkcji charakterystycznej $\varphi_X$ , co więcej jest ona jednostajnie ciągła, oraz zachodzi; $i^n{\mathbb E}X^n = \varphi_X^{(n)}(0)$ .

Dzięki temu wzór Taylora funkcji charakterystycznej wygląda następująco: jeżeli $\mathbb E|X|^n < \infty$ , to

$\varphi_X(t) = \sum_{k=0}^{n} \tfrac{(it)^{k}}{k!} \mathbb{E}X^{k} + \mathrm{o}(t^{n})$ .

Twierdzenie: Jeżeli istnieje n-ta pochodna funkcji charakterystycznej zmiennej losowej, gdzie $n = 2 k$ oraz $k \in {\mathbb Z}$ , to istnieje n-ty moment tej zmiennej losowej.

[edytuj] Rozkłady

Kryterium określającego kiedy funkcja $\varphi: \mathbb R \to \mathbb C$ jest funkcją charakterystyczną pewnego rozkładu prawdopodobieństwa dostarcza twierdzenie Bochnera. Innym jest kryterium Pólya.

Funkcja charakterystyczna determinuje rozkład, tzn. jeśli $μ,ν$ są rozkładami prawdopodobieństwa na $\mathbb{R}$ , to jeśli mają one równe funkcje charakterystyczne, czyli $\varphi_\mu(t) = \varphi_\nu(t) \quad \forall_{t \in \mathbb{R}}$ , to $μ = ν$ .

Ponieważ ciąg $(X_n)_{n \in {\mathbb N}}$ zbiega zbieżności wg rozkładu, jeżeli

${\mathbb E}f(X_n) \to {\mathbb E}f(X)$ , dla dowolnej funkcji

f

ciągłej i ograniczonej,

w szczególności dla $f (x) = e i t x$ (ciągłej i ograniczonej co do modułu przez 1), to

${\mathbb E}e^{itX_n} \to {\mathbb E}e^{itX} \iff \varphi_{X_n}(t) \to \varphi_X(t) \quad \forall_{t \in {\mathbb R}}$ ,

a więc zbieżność wg rozkładu zmiennych losowych pociąga zbieżność punktową ich funkcji charakterystycznych. Twierdzenie Lévy'ego-Craméra jest nietrywialnym odwróceniem tego wyniku.

[edytuj] Dystrybuanta i gęstość

Z tożsamości Parsevala wynika wzór na dystrybuantę $F$ rozkładu o funkcji charakterystycznej $\varphi$ . Jeżeli punkt $u$ jest punktem ciągłości, to

$F(u) = \lim_{a \to \infty} \int\limits_{-\infty}^{u} \left(\frac{1}{2\pi} \int\limits_{-\infty}^{\infty} e^{-ist} \varphi(s) e^{-s^2/2a^2} ds\right) dt$ .

Odwrotna transformacja Fouriera umożliwia wyznaczenie gęstości: jeżeli $\varphi$ jest całkowalna, to rozkład ten ma ograniczoną i ciągłą gęstość $f$ daną wzorem

$f(x) = \frac{1}{2\pi} \int\limits_{-\infty}^{\infty} e^{-isx} \varphi(s) ds$ .

Tożsamość Plancherela mówi, iż jeżeli rozkład ma gęstość $f$ i funkcję charakterystyczną $\varphi$ , to $|\varphi|^2$ jest całkowalna wtedy i tylko wtedy, gdy $f 2$ jest całkowalna. Wtedy też

$\int\limits_{-\infty}^{\infty} f(x)^2 dx = \frac{1}{2\pi} \int\limits_{-\infty}^{\infty} |\varphi(t)|^2 dt$ .

[edytuj] Niezależne zmienne losowe

Funkcje charakterystyczne są szczególnie użyteczne do badania zmiennych będących funkcjami niezależnych zmiennych losowych. Jeżeli $X_1, \dots, X_n$ jest ciągiem niezależnych zmiennych losowych, a

$S_n = a_1 X_1 + \dots + a_n X_n$ ,

gdzie $a_i \in {\mathbb C}$ , to funkcja charakterystyczna $S n$ dana jest wzorem

$\varphi_{S_n}(t) = \varphi_{X_1}(a_1 t) \dots \varphi_{X_n}(a_n t)$ .

W szczególności $\varphi_{X+Y}(t) = \varphi_X(t) \varphi_Y(t)$ , co wynika wprost z definicji funkcji charakterystycznych (pierwsza i czwarta równość), własności funkcji wykładniczej (druga równość) i niezależności zmiennych losowych (trzecia równość):

$\varphi_{X+Y}(t) = {\mathbb E}e^{it(X+Y)} = {\mathbb E}\left(e^{itX}e^{itY}\right) = {\mathbb E}e^{itX} {\mathbb E}e^{itY} = \varphi_X(t) \varphi_Y(t)$ .

[edytuj] Rozkłady wielowymiarowe

Jeżeli $\mathbf t = (t_1, t_2, \dots, t_n)^\top \in \mathbb{R}^n$ , zaś $\mathbf X = (X_1, X_2, \dots, X_n)^\top \in \mathbb{R}^n$ jest wektorem losowym, a przez $\mathbf{tX}$ rozumie się ich iloczyn skalarny, to funkcję charakterystyczną wektora $\mathbf X$ definiuje się analogicznie wzorem

$\varphi_{\mathbf X}(\mathbf t) = \mathbb Ee^{i\mathbf{tX}}$ .

lub w zapisie macierzowym

$\varphi_{\mathbf X}(\mathbf t) = \mathbb Ee^{i{\mathbf t}^\top \mathbf{X}}$ ,

gdzie ${}^\top$ oznacza transpozycję (oba wektory są kolumnowe).

Funkcja charakterystyczna przekształcenia afinicznego $\mathbf{AX} + \mathbf{b}$ wyraża się przez $\varphi_{\mathbf X}$ wzorem postaci:

$\varphi_{\mathbf{AX} + \mathbf{b}}(\mathbf{t}) = \varphi_X(\mathbf{A^\top t}) e^{i\mathbf{t^\top b}}$ ,

gdzie $\mathbf{A}$ jest przekształceniem liniowym (macierzą), zaś $\mathbf{b} \in \mathbb{R}^n$ .

Zmienne losowe $X_1, \dots, X_n$ są niezależne wtedy i tylko wtedy, gdy

$\varphi_{\mathbf X}(\mathbf t) = \varphi_{X_1}(t_1) \dots \varphi_{X_n}(t_n)$ .

Zgodnie z twierdzeniem Craméra-Wolda ciąg wektorów losowych $\mathbf{X}_1, \mathbf{X}_2, \dots$ zbiega wg rozkładu do wektora $\mathbf{X}$ wtedy i tylko wtedy, gdy $\mathbf{tX}_n$ zbiega wg rozkładu do $\mathbf{tX}$ dla każdego $\mathbf{t} \in \mathbb{R}^n$ .