Nierówność Rao-Craméra

Twierdzenie Rao-Craméra (zwane również nierównością Rao-Craméra lub nierównościa informacyjną) podaje jaki jest minimalny możliwy średniokwadratowy błąd estymatora (nie ma estymatorów, które miałyby mniejszy średni błąd kwadratowy).

W swojej najprostszej postaci nierówność stwierdza, że wariancja estymatora nieobciążonego jest nie mniejsza niż odwrotność informacji Fishera.

Następujące sformułowania nierówności wymienione są od najprostszej do bardziej ogólnej wersji. Wszystkie sformułowania wymagaja pewnych warunków regularności spełnianych przez wiele "porządnych" rozkładow prawdopodobieństwa. Warunki te wymienione są poniżej.

Parametr skalarny, przypadek nieobciążony

Załóżmy, że $\theta$ jest nieznanym deterministycznym parameterem, który jest estymowany przy pomocy obserwacji $x$ z rozkładu prawdopodobieństwa o gęstości $f(x;\theta)$. Wariancja dowolnego nieobciążonego estymatora $\hat{\theta}$ parametru $\theta$ jest wtedy ograniczona z dołu przez odwrotność informacji Fishera $I(\theta)$:

$\mathrm{var} \left(\hat{\theta}\right) \geqslant \frac{1}{I(\theta)}$.

Przypomnijmy że informacja Fishera $I(\theta)$ jest dana przez

$I(\theta) =n \mathrm{E} \left[ \left[ \frac{\partial}{\partial \theta} \ln f(X;\theta) \right]^2 \right].$

Wtedy efektywność estymatora nieobciążonego $\hat{\theta}$ jest zdefiniowana jako

$e(\hat{\theta}) = \frac{\frac{1}{I(\theta)}}{{\rm var}(\hat{\theta})}$

czyli minimalna możliwa wariancja estymatora nieobciążonego podzielona przez rzeczywistą wariancję. Zatem na mocy twierdzenia mamy że $e(\hat{\theta}) \leqslant 1.$

Parametr skalarny, przypadek ogólny

Bardziej ogólna postać ograniczenia może być otrzymana przez rozważanie nieobciążonego estymatora $T(X)$ funkcji $\psi(\theta)$ parametru $\theta$. Nieobiążoność rozumiemy w tym przypadku jako: $E\{T(X)\} = \psi(\theta)$. Ograniczenie przyjmuje postać

$\mathrm{var}(T) \geqslant \frac{[\psi'(\theta)]^2}{I(\theta)}$

gdzie $\psi'(\theta)$ jest pochodną $\psi(\theta)$, i $I(\theta)$ jest informacją Fishera zdefiniowaną powyżej.

Podobnie możemy otrzymać ograniczenie wariancji estymatora obciążonego z danym obciażeniem. Rozważmy estymator $\hat{\theta}$ z obciążeniem $b(\theta) = E\{\hat{\theta}\} - \theta$, i niech $\psi(\theta) = b(\theta) + \theta$. Na mocy powyższego wyniku, dowolny nieobciążony estymator o wartości oczekiwanej $\psi(\theta)$ ma wariancję większą lub rowną $(\psi'(\theta))^2/I(\theta)$. Zatem dowolny esymator $\hat{\theta}$ o obciążeniu danym funkcją $b(\theta)$ spełnia

$\mathrm{var} \left(\hat{\theta}\right) \geqslant \frac{[1+b'(\theta)]^2}{I(\theta)}.$

Oczywiście, nieobciążona wersja ograniczenia jest szczególnym przypadkiem z $b(\theta)=0$.

Przypadek wielowymiarowy

Aby rozszerzyć nierowność Rao-Cramera na przypadek wielowymiarowy, zdefiniujmy wektor parametrów

$\boldsymbol{\theta} = \left[ \theta_1, \theta_2, \dots, \theta_d \right]^T \in \mathbb{R}^d$

z funkcją gęstości prawdopodobieństwa $f(x; \boldsymbol{\theta})$ spełniającą dwa warunki regularności ponizej.

Macierz informacji Fishera jest $d \times d$ macierzą dla której element $I_{m, k}$ jest zdefiniowany jako

$I_{m, k} = \mathrm{E} \left[ \frac{d}{d\theta_m} \ln f\left(x; \boldsymbol{\theta}\right) \frac{d}{d\theta_k} \ln f\left(x; \boldsymbol{\theta}\right) \right].$

Niech $\boldsymbol{T}(X)$ będzie estymatorem dowolnej funkcji wektorowej parametrów, $\boldsymbol{T}(X) = (T_1(X), \ldots, T_n(X))^T$, i oznaczmy jego wektor wartości oczekiwanej $\mathrm{E}[\boldsymbol{T}(X)]$ przez $\boldsymbol{\psi}(\boldsymbol{\theta})$. Wtedy nierówność Rao-Craméra stwierdza że macierz kowariancji dla $\boldsymbol{T}(X)$ spełnia

$\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right) \geqslant \frac {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)} {\partial \boldsymbol{\theta}} [I\left(\boldsymbol{\theta}\right)]^{-1} \left( \frac {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)} {\partial \boldsymbol{\theta}} \right)^T$

gdzie

• nierówność macierzy $A \geqslant B$ oznacza że macierz $A-B$ jest nieujemnie określona,
• $\partial \boldsymbol{\psi}(\boldsymbol{\theta})/\partial \boldsymbol{\theta}$ jest macierza dla której $ij$th element jest dany przez $\partial \psi_i(\boldsymbol{\theta})/\partial \theta_j$.

Jeśli $\boldsymbol{T}(X)$ nieobciążonym estymatorem $\boldsymbol{\theta}$ (to znaczy, $\boldsymbol{\psi}\left(\boldsymbol{\theta}\right) = \boldsymbol{\theta}$), wtedy nierówność Rao-Craméra sprowadza się do

$\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right) \geqslant I\left(\boldsymbol{\theta}\right)^{-1}.$

Warunki regularności

Następujące dwa słabe warunki regularności gęstości prawdopodobieństwa $f(x; \theta)$ i estimatora $T(X)$ są konieczne:

• Informacja Fishera jest zawsze zdefiniowana; równoważnie $x$ takie że $f(x; \theta) > 0$,

$\frac{\partial}{\partial\theta} \ln f(x;\theta)$

istnieje i jest skończone.

• Operacje calkowania po $x$ i rózniczkowania ze względu na $\theta$ są przemienne; to znaczy,

$\frac{\partial}{\partial\theta} \left[ \int T(x) f(x;\theta) \,dx \right] = \int T(x) \left[ \frac{\partial}{\partial\theta} f(x;\theta) \right] \,dx$

wszędzie gdzie prawa strona jest skończona.