Liniowa analiza dyskryminacyjna

Liniowa analiza dyskryminacyjna (ang. linear discriminant analysis, LDA) i związany z nią liniowy dyskryminator Fishera (ang. Fisher’s linear discriminant, FLD) są używanie w uczeniu maszynowym do znalezienia liniowej kombinacji cech, które najlepiej rozróżniają dwie lub więcej klas obiektów lub zdarzeń. Wynikowe kombinacje są używane jako klasyfikator liniowy lub, częściej, służą redukcji wymiarów do późniejszej klasyfikacji statystycznej.

LDA dla dwóch klas

Rozważmy zbiór obiektów z których każdy jest opisywany przez wektor cech x, przy czym dla każdego obiektu znana jest jego przynależność do klasy y. Taki zbiór obserwacji nazywany jest zbiorem uczącym.

Problem klasyfikacji polega na znalezieniu dobrego predyktora klasy y dla każdej obserwacji (niekoniecznie pochodzącej ze zbioru uczącego). Predyktor ma się opierać wyłącznie o obserwacje x. Podejście LDA bazuje na założeniu, że funkcje gęstości prawdopodobieństwa $p({\vec {x}}|y=1)$ i $p({\vec {x}}|y=0)$ mają rozkłady normalne i jednakową kowariancję $\Sigma _{y=0}=\Sigma _{y=1}=\Sigma$ (podobną analizą, która dopuszcza, aby kowariancje się różniły, jest quadratic discriminant analysis). Można pokazać, że wymagane prawdopodobieństwo $p(y|{\vec {x}})$ jest zależne tylko od iloczynu skalarnego ${\vec {w}}\cdot {\vec {x}}$ gdzie:

${\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0}).$

Oznacza to, że prawdopodobieństwo, że wejściowe x będzie należało do klasy y jest funkcją liniowej kombinacji jego znanych cech.

Zastosowania

FLD i LDA są używane do wielu zastosowań związanych z klasyfikacją. Jednym z nich jest rozpoznawanie twarzy. Obraz twarzy składający się z bardzo dużej liczby pikseli jest redukowany do mniejszego zbioru liniowych kombinacji, które mogą następnie być wykorzystane do klasyfikacji. Linowa kombinacja cech obrazu twarzy uzyskana za pomocą FLD określana jest mianem Fisher faces, natomiast obrazy będące efektem redukcji cech przeprowadzonej za pomocą analizy głównych składowych nazywane są eigenfaces.

Zobacz też

• drzewo decyzyjne
• eksploracja danych
• perceptron
• regresja logistyczna
• statystyka
• uczenie maszynowe