Metoda Hellwiga

Metoda Hellwiga, zwana również metodą optymalnego wyboru predyktant, metodą wskaźników pojemności informacji – formalna metoda doboru zmiennych objaśniających do modelu statystycznego (w szczególności modelu ekonometrycznego) stworzona w 1968 roku przez Zdzisława Hellwiga.

Zmienne, które wybieramy do modelu powinny być silnie skorelowane ze zmienną objaśnianą, a słabo skorelowane między sobą. Nie jest to jednak ścisłe kryterium doboru zmiennych, oprócz tego występuje kryterium liczbowe, tzw. pojemność integralna kombinacji nośników informacji. W tym przypadku nośnikami informacji są wszystkie zmienne objaśniające.

Liczba kombinacji

Jeżeli mamy $m$ potencjalnych zmiennych objaśniających, to liczba wszystkich kombinacji jest równa

$L=2^{m}-1.$

Indywidualna pojemność nośników informacji

Dla wszystkich otrzymanych kombinacji definiujemy tzw. Indywidualną pojemność nośników informacji, która określona jest wzorem:

$h_{kj}={\frac {r_{j}^{2}}{1+\sum _{l=1,l\neq j}^{m_{k}}{|r_{lj}|}}},j=1,2,\dots ,m_{k},h_{kj}\in [0,1],$

gdzie:

$k$ – numer kombinacji $(k=1,2,\dots ,2^{m}-1),$

$m_{k}$ – liczba zmiennych w $k$-tej kombinacji,

$j$ – numer zmiennej w rozpatrywanej kombinacji,

$r_{j}$ – współczynnik korelacji potencjalnej zmiennej objaśniającej o numerze j ze zmienną objaśnianą (element wektora $R_{0}$),

$r_{lj}$ – współczynnik korelacji między $l$-tą i $j$-tą potencjalną zmienną objaśniającą (element macierzy $R$).

Wskaźnik $h_{kj}$ mierzy wielkość informacji jaką wnosi zmienna $X_{j}$ o zmiennej objaśnianej $Y$ w $k$-tej kombinacji. W związku z tym $h_{kj}$ wzrasta, jeżeli współczynnik korelacji $r_{j}$ wzrasta, a maleje im bardziej zmienna $X_{j}$ jest skorelowana z pozostałymi zmiennymi objaśniającymi.

Pojemność integralna kombinacji nośników informacji

Dopiero, gdy policzymy indywidualną pojemność nośników informacji dla wszystkich kombinacji, możemy obliczyć pojemność integralną kombinacji nośników informacji według wzoru:

$H_{k}=\sum _{j=1}^{m_{k}}{h_{kj}},k=1,2,\dots ,2^{m}-1,H_{k}\in [0,1],$

gdzie:

$k$ – numer kombinacji $(k=1,2,\dots ,2_{m}-1),$

$m_{k}$ – liczba zmiennych w $k$-tej kombinacji,

$j$ – numer zmiennej w rozpatrywanej kombinacji.

Pojemność integralna kombinacji nośników informacji dla $k$-tej kombinacji jest sumą indywidualnych pojemności nośników informacji, które wchodzą w skład tej kombinacji. Jest ona kryterium wyboru odpowiedniej kombinacji zmiennych objaśniających, a wybieramy tę kombinację, gdzie $H_{k}$ jest największa. Ze względu na znacząca liczbę kombinacji zmiennych, które należy porównać skonstruowana została metoda wykorzystująca kryterium Hellwiga w postaci zadania programowania binarnego, w którym licznik z kryterium Hellwiga jest funkcją celu, a mianownik jest podstawą do zbudowania warunków ograniczających.

Przykład

Dane są:

• zmienna endogeniczna $Y,$
• zbiór potencjalnych zmiennych objaśniających

$X=\{x_{1},\ x_{2},\ x_{3}\},$

• wektor współczynników korelacji liniowej między zmiennymi egzogenicznymi i zmienną endogeniczną

$R_{0}={\begin{bmatrix}\ \ 0,4\\-0,9\\\ \ 0,6\end{bmatrix}},$

• macierz współczynników korelacji między potencjalnymi zmiennymi objaśniającymi,

$R={\begin{bmatrix}1&0{,}2&-0{,}7\\0{,}2&1&0{,}5\\-0{,}7&0{,}5&1\end{bmatrix}}.$

Liczba możliwych kombinacji zmiennych endogenicznych wynosi

$L=2^{3}-1=7.$

• Kombinacje jednoelementowe:

$K_{1}=\{x_{1}\},$

$K_{2}=\{x_{2}\},$

$K_{3}=\{x_{3}\}.$

• Kombinacje dwuelementowe:

$K_{4}=\{x_{1},\ x_{2}\},$

$K_{5}=\{x_{1},\ x_{3}\},$

$K_{6}=\{x_{2},\ x_{3}\}.$

• Kombinacje trójelementowe:

$K_{7}=\{x_{1},\ x_{2},\ x_{3}\}.$

Bibliografia

• A. Barczak, J. Biolik, Podstawy ekonometrii, Wydawnictwo AE Katowice, Katowice 2003, ISBN 83-87265-87-X.
• J. Dziechciarz, Ekonometria. Metody, przykłady, zadania, Wydawnictwo AE we Wrocławiu, Wrocław 2002, ISBN 83-7011-551-9.
• M. Rocki, Własność koincydencji i zmienne katalityczne w doborze zmiennych objaśniających za pomocą zadania programowania zerojedynkowego, „Przegląd Statystyczny” 1/2, Warszawa 2000, ISBN 83-7225-073-1.