Współczynnik determinacji

Kwartet Anscombe’a – cztery zbiory obserwacji, które pasują w identycznym stopniu (także w sensie R²) do takiego samego modelu liniowego.

Współczynnik determinacji R² – jedna z miar jakości dopasowania modelu do danych uczących. Jego dopełnieniem jest współczynnik zbieżności, $\varphi ^{2}=1-R^{2}.$ Występuje obecnie w wielu wariantach stosujących różnorodne poprawki. Jego pierwotne opracowanie przypisuje się m.in. publikacji Sewalla Wrighta z 1921, która opiera się z kolei m.in. na artykule K. Pearsona z 1897.

Obecnie, współczynnik determinacji wykorzystuje się głównie w celach pomocniczych. Lepszymi narzędziami do tego celu są np. kryteria informacyjne AIC, BIC, czy sprawdzian krzyżowy. Już Wright nie przedstawiał R² jako wyczerpującej miary dopasowania modelu do badanego zjawiska, szczególnie nie w sensie wyjaśnienia przyczynowego. Współczynnik determinacji opisuje jedynie oszacowaną na podstawie próby macierz wielokrotnej korelacji obecnych w modelu zmiennych, przy założeniu prawdziwości modelu. Ignoruje dopasowanie modelu do danych spoza próby, oraz problem pominiętych zmiennych. Maksymalizacja tej miary prowadzi do nadmiernego dopasowania modelu do danych uczących. Schmueli uznaje w tym kontekście tradycję opisywania korelacji zmiennych jako ich wzajemnego wyjaśniania lub determinacji – co może sugerować wytłumaczenie przyczynowe – za szczególnie zwodniczą.

Współczynnik determinacji

Informuje o tym, jaka część zmienności (wariancji) zmiennej objaśnianej w próbie pokrywa się z korelacjami ze zmiennymi zawartymi w modelu. Jest on więc miarą stopnia, w jakim model pasuje do próby. Współczynnik determinacji przyjmuje wartości z przedziału [0;1] jeśli w modelu występuje wyraz wolny, a do estymacji parametrów wykorzystano metodę najmniejszych kwadratów. Jego wartości najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość R² jest bliższa jedności. Wyraża się on wzorem:

$R^{2}:={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\geqslant 0,$

gdzie:

$y_{i}$ – $i$-ta obserwacja zmiennej $y,$

${\hat {y}}_{i}$ – wartość teoretyczna zmiennej objaśnianej (na podstawie modelu),

${\overline {y}}$ – średnia arytmetyczna empirycznych wartości zmiennej objaśnianej.

Interpretacja

Współczynnik $R^{2}$ ma jasną interpretację tylko w sytuacji, gdy współczynniki modelu $y=X\beta +\varepsilon$ zostały wyestymowane metodą najmniejszych kwadratów i w modelu występuje wyraz wolny. Wówczas $0\leqslant R^{2}\leqslant 1$ i R^2 można interpretować jako miarę dopasowania modelu do danych.

Dowód.

${\begin{aligned}&\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}\\[1ex]={}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}+{\hat {y}}_{i}-{\overline {y}})^{2}\\[1ex]={}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}+2\sum _{i=1}(y_{i}-{\hat {y}}_{i})({\hat {y}}_{i}-{\overline {y}}).\end{aligned}}$

Ostatnią sumę możemy rozpisać

$\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})({\hat {y}}_{i}-{\overline {y}})=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}-{\overline {y}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}).$

Pierwsza z tych sum jest równa

${\begin{aligned}&\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}\\[1ex]={}&{\hat {y}}^{T}(y-{\hat {y}})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}(y-{\hat {y}})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}(y-X{\hat {\beta }})\\[1ex]={}&{\hat {\beta }}^{T}X^{T}y-{\hat {\beta }}^{T}X^{T}X{\hat {\beta }}\\[1ex]={}&{\hat {\beta }}^{T}X^{T}y-{\hat {\beta }}^{T}X^{T}X(X^{T}X)^{-1}X^{T}y=0.\end{aligned}}$

Z powyższego rachunku wynika także, że w metodzie najmniejszych kwadratów macierz $X^{T}$ jest ortogonalna do wektora reszt $y-{\hat {y}},$ tzn.

$X^{T}(y-{\hat {y}})=0.$

Jeżeli w modelu $y=X\beta +\varepsilon$ występuje wyraz wolny, to macierz $X$ zwiera kolumnę, a macierz $X^{T}$ – rząd jedynek. W takiej sytuacji tożsamość $X^{T}(y-{\hat {y}})=0$ implikuje równość

$\sum _{i=1}(y_{i}-{\hat {y}}_{i})=0$

i otrzymujemy

$\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}.$

Wówczas

$R^{2}:={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}={\frac {\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \limits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum \limits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}}={\frac {1}{1+{\frac {\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}}}}\leqslant 1\ \blacksquare$

Współczynnik zbieżności

Współczynnik zbieżności $\varphi ^{2}$ określa, jaka część zaobserwowanej w próbie zmienności zmiennej objaśnianej nie pasuje do modelu (mieści się w jego błędzie). Współczynnik zbieżności przyjmuje wartości z przedziału [0;1]; wartości te najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość $\varphi ^{2}$ jest bliższa zeru. Wyraża się on wzorem:

$\varphi ^{2}:=1-R^{2},$

lub też (jeżeli w modelu występuje wyraz wolny, a współczynniki zostały wyestymowane metodą najmniejszych kwadratów)

${\begin{aligned}\varphi ^{2}&=1-R^{2}\\[1ex]&={\frac {\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}-{\frac {\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\[1em]&={\frac {\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}-\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\[1ex]&={\frac {\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}},\end{aligned}}$

gdzie ${\hat {y}}_{i},$ $y_{i}$ oraz ${\overline {y}}$ są określone jak w części poprzedniej.