Regresja (statystyka)

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Regresja − metoda statystyczna pozwalająca na badanie związku pomiędzy wielkościami danych i przewidywanie na tej podstawie nieznanych wartości jednych wielkości na podstawie znanych wartości innych.

Formalnie regresja to dowolna metoda statystyczna pozwalającą estymować warunkową wartość oczekiwaną zmiennej losowej, zwanej zmienną objaśnianą[1], dla zadanych wartości innej zmiennej lub wektora zmiennych losowych (tzw. zmiennych objaśniających[1]).

Użycie regresji w praktyce sprowadza się do dwóch faz:

  • konstruowanie modelu - budowa tzw. modelu regresyjnego, czyli funkcji opisującej, jak zależy wartość oczekiwana zmiennej objaśnianej od zmiennych objaśniających. Funkcja ta może być zadana nie tylko czystym wzorem matematycznym, ale także całym algorytmem, np. w postaci drzewa regresyjnego, sieci neuronowej, itp.. Model konstruuje się tak, aby jak najlepiej pasował do danych z próby, zawierającej zarówno zmienne objaśniające, jak i objaśniane (tzw. zbiór uczący). Mówiąc o wyliczaniu regresji ma się na myśli tę fazę.
  • stosowanie modelu (tzw. scoring) - użycie wyliczonego modelu do danych w których znamy tylko zmienne objaśniające, w celu wyznaczenia wartości oczekiwanej zmiennej objaśnianej.

Dział statystyki zajmujący się modelami i metodami regresji zwany jest analizą regresji. Regresja, w której występuje więcej niż jedna zmienna objaśniająca, zwana jest regresją wieloraką (ang. multiple regression).

Globalne modele parametryczne[edytuj | edytuj kod]

W modelach parametrycznych ogólna postać modelu jest założona z góry, a celem procedury regresji jest dobranie takich jej parametrów, które definiowałyby funkcję możliwie dobrze odpowiadającą próbie uczącej.

Zwykle stosuje się tzw. globalne modele parametryczne, gdzie wartości współczynników są takie same dla dowolnych wartości zmiennych objaśniających.

Ogólna postać modelu[edytuj | edytuj kod]

W zapisie formalnym model przybiera zwykle postać:

Y = f(X, \beta) + \varepsilon

gdzie:

X – wektor zmiennych objaśniających (predyktorów),
Y – zmienna objaśniana,
\beta - wektor współczynników regresji (zwykle będących liczbami rzeczywistymi)
f(X, \beta) – funkcja regresji o wartościach w liczbach rzeczywistych,
\varepsilon – błąd losowy, o rozkładzie być może zależnym od X, przy czym \mathbb E(\varepsilon|X) = 0 oraz \sup_X \operatorname{Var}(\varepsilon_X | X) < \infty. Dzięki temu
\mathbb EY = f(X, \beta)

Niekiedy wprowadza się do modelu także błąd zmiennych objaśniających. Wzór zwykle przybiera wówczas formę:

Y = f(X+\varepsilon_X, \beta) + \varepsilon\

Miara błędu[edytuj | edytuj kod]

Celem konstrukcji modelu jest przybliżenie nieznanej funkcji f\ przez jej estymator \widehat{f}. Sprowadza się to do takiego wyznaczenia wektora współczynników \beta, aby zminimalizować w zbiorze uczącym funkcję straty

L(\widehat{f},f)=\frac{1}{n}\sum_{i=1}^n \Delta(\widehat{f}(x_i),f(x_i))

gdzie \Delta(a,b)\ jest ustaloną miarą odległości[2] między wartościami a i b (tzw. miara błędu).

Wybór miary \Delta(a,b)\ bardzo wpływa na algorytm i wyniki regresji. Zwykle jako miarę błędów stosuje się sumę kwadratów różnic (błędów regresji):

\Delta(a,b)=(a-b)^2\

gdyż wówczas obliczenia są najprostsze - dopasowanie modelu sprowadza się do zastosowania prostej matematycznie metody najmniejszych kwadratów. Ma to jednak swoją wadę - kwadrat błędów dużo silniej zależy od obserwacji dla których błąd jest największy niż od tych, do których model dobrze się dopasował[3]. Metoda najmniejszych kwadratów daje więc niedokładne lub wręcz zafałszowane wyniki, jeśli w zbiorze uczącym występują obserwacje zbyt dalekie od średniej, tzw. elementy odstające (np. pomyłki przy wprowadzaniu danych). W związku z tym stosowane są także inne miary błędów, bardziej odporne, takie jak np. wartość bezwzględna różnicy.

Najpopularniejsze modele parametryczne[edytuj | edytuj kod]

Regresja liniowa[edytuj | edytuj kod]

 Osobny artykuł: regresja liniowa.

Model regresji liniowej ma postać

Y=\beta_0+x_1\beta_1+x_2\beta_2+\dots +x_n\beta_n+\varepsilon

Wówczas algorytmem obliczania współczynników modelu jest metoda najmniejszych kwadratów (w przypadku wariancji jako miary błędu) albo np. metoda największej wiarygodności dla innych miar.

Regresja nieliniowa[edytuj | edytuj kod]

Regresja, w której postać modelu dopuszcza nieliniową zależność pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą.

Stosowane są różne modele, budowane na potrzeby konkretnego przypadku. Dla jednej zmiennej objaśniającej Z może to być na przykład:

Y=\beta_0+Z\beta_1+Z^2\beta_2+Z^3\beta_3+\varepsilon

Jak łatwo zauważyć model ten daje się sprowadzić do regresji liniowej przez utworzenie sztucznych zmiennych objaśniających X_1=Z, X_2=Z^2, X_3=Z^3. Regresja liniowa dopasuje wówczas do danych wielomian trzeciego stopnia zamiast prostej. Można stosować także inne funkcje sprowadzające model do postaci liniowej, np. logarytm.

Modele z interakcjami[edytuj | edytuj kod]

Model regresji liniowej można również rozszerzyć w inny sposób, wprowadzając do niego jako sztucznie stworzone predyktory np. iloczyny dwóch lub większej liczby zmiennych objaśniających. Pozwala to na uwzględnienie tzw. interakcji pomiędzy zmiennymi, czyli zmiany siły wpływu jednej ze zmiennych przy różnych wartościach innej zmiennej.

Uogólnione modele liniowe (GLM)[edytuj | edytuj kod]

W modelach tych przyjmuje się następujące założenia:

  • Zmienne objaśniające wpływają na zmienną objaśnianą tylko przez tzw. składnik systematyczny
    \eta = X^T\beta
gdzie X^T oznacza transpozycję wektora X
  • Rozkład prawdopodobieństwa zmiennej objaśniającej jest określony przez tzw. składnik losowy modelu:
    Y \sim N(\mu, \sigma^2), \mathbb EY = \mu
  • Wartość oczekiwana \mu składnika losowego zależy od składnika systematycznego w sposób określony przez tzw. funkcję wiążącą l:
    \eta = l(\mu)

W zależności od wyboru funkcji wiążącej otrzymuje się różne modele.

Nieznane parametry \beta są zwykle estymowane za pomocą metod największej wiarygodności, quasi-największej wiarygodności, lub metod bayesowskich.

Regresja logistyczna[edytuj | edytuj kod]

 Osobny artykuł: Regresja logistyczna.

Szczególny przypadek GLM, stosowany, gdy zmienna objaśniana Y przyjmuje tylko dwie wartości (zwykle oznaczane 0 i 1), np. mówi, czy prognozowane zdarzenie będzie miało miejsce. Funkcją wiążącą jest w tym przypadku logit.

Regresja nieparametryczna[edytuj | edytuj kod]

Alternatywną koncepcją jest regresja nieparametryczna. Metody regresji nieparametrycznej nie zakładają, że estymowana funkcja f jest znana z dokładnością do skończenie wielu estymowalnych parametrów. Tym samym są często bardziej elastyczne w poszukiwaniu rozwiązań. Z drugiej strony w regresji parametrycznej o wiele prostszy jest matematyczny opis modelu, co pozwala na przykład na łatwe wyznaczanie przedziałów ufności prognozowanej wartości. W regresji nieparametrycznej bywa to trudniejsze.

Krokowa konstrukcja modelu regresji[edytuj | edytuj kod]

Metody regresji krokowej (ang. stepwise regression) są sposobem na wybranie zmiennych objaśniających do modelu.

Regresja krokowa postępująca[edytuj | edytuj kod]

W tej wersji zmienne są kolejno dodawane do modelu.

Przykładowo może ona polegać w pierwszym kroku na wyborze do modelu tej zmiennej objaśniającej, która jest najsilniej skorelowana ze zmienną objaśnianą i wyznacza model o istotnych parametrach. W drugim kroku wybierana jest kolejna zmienna objaśniająca, której wartości są najsilniej skorelowane z resztami kroku pierwszego, a rozszerzony model charakteryzuje się istotnością wszystkich parametrów. Oprócz istotności parametrów bada się również istotność współczynnika determinacji. Procedura podlega zakończeniu, gdy zabraknie zmiennych objaśniających lub dołączenie nowej zmiennej do równania prowadzi do utraty waloru istotności przez parametry lub współczynnik determinacji.

Regresja krokowa wsteczna[edytuj | edytuj kod]

Polega w pierwszym kroku na skonstruowaniu modelu zawierającego wszystkie potencjalne zmienne objaśniające, a następnie na stopniowym eliminowaniu zmiennych tak, aby utrzymać model z najwyższą wartością współczynnika determinacji przy zachowaniu istotności parametrów.

Istnieją też metody mieszane, w których algorytm zarówno dodaje, jak i usuwa zmienne w kolejnych krokach.

Bibliografia[edytuj | edytuj kod]

  • Jacek Koronacki, Jan Ćwik: Statystyczne systemy uczące się. Warszawa: Wydawnictwa Naukowo-Techniczne, 2005. ISBN 83-204-3157-3.

Przypisy

  1. 1,0 1,1 Zmienne objaśniające są też nazywane zmiennymi niezależnymi, a zmienna objaśniana − zmienną zależną. Może być to tyle mylące, że zmienne objaśniające wcale nie muszą być statystycznie (nie)zależne od siebie, czy od zmiennych objaśnianych; terminy „zależne” i „niezależne” wskazują jedynie na (nie)zależność funkcyjną.
  2. To nie jest metryka - miara nie musi być symetryczna i może zachodzić \Delta(a,b)\ne \Delta(b,a)
  3. Podobna sytuacja z podobnymi konsekwencjami występuje w przypadku wariancji i odchylenia standardowego - zobacz sekcję Wrażliwość na błędy obserwacji w artykule "Odchylenie standardowe"

Zobacz też[edytuj | edytuj kod]