Perceptron wielowarstwowy

Perceptron wielowarstwowy (ang. Multilayer Perceptron, MLP) – najpopularniejszy typ sztucznych sieci neuronowych. Sieć tego typu składa się zwykle z jednej warstwy wejściowej, kilku warstw ukrytych oraz jednej warstwy wyjściowej. Warstwy ukryte składają się najczęściej z neuronów McCullocha-Pittsa. Ustalenie właściwej liczby warstw ukrytych oraz liczby neuronów znajdujących się w poszczególnych warstwach jest trudnym zagadnieniem, które musi rozwiązać twórca sieci neuronowej (dla nowych zagadnień dokonuje się tego metodą prób, patrząc jakie odpowiedzi daje sieć na wyjściach i porównując z wynikami oczekiwanymi, przy czym istotne jest, by unikać efektu nadmiernego dopasowania; zagadnienia te porusza też artykuł zbiór uczący, walidacyjny i testowy).

Sieć MLP w swojej podstawowej wersji jest siecią, w której nie ma sprzężenia zwrotnego, w przeciwieństwie do sieci zwanych sieciami rekurencyjnymi^[1]. Na bazie sieci MLP zbudowane są splotowe sieci neuronowe, służące do rozpoznawania obrazów^[1].

Gdy sieć służy do liczenia zagadnień regresji, to jej neurony maja liniowe funkcje aktywacji. Gdy zaś sieć służy do klasyfikacji danych wejściowych, to jej neurony mają nieliniowe funkcje aktywacji; wtedy trenowanie sieci odbywa się z zastosowaniem metody wstecznej propagacji błędów.^[2]

Perceptron wielowarstwowy w przeciwieństwie do perceptronu jednowarstwowego może być wykorzystywany do klasyfikowania zbiorów, które nie są liniowo separowalne^[3].

Podstawy matematyczne

Perceptron wielowarstwowy można zapisać jako funkcję^[1]:

$y=f(x,\theta )$

gdzie:
$y$ - wyjście sieci,
$x$ - wejście sieci,
$\theta$ - parametry (wagi) określone podczas uczenia się sieci

Sieć neuronowa zwana jest siecią ponieważ składa się z wielu warstw. Funkcja $f$ z powyższego wzoru jest tak naprawdę złożeniem wielu funkcji:
$f(x)=f^{(n)}(\ldots f^{(3)}(f^{(2)}(f^{(1)}(x))))$

gdzie:
$n$ - numer warstwy sieci

Oprogramowanie

Perceptron wielowarstwowy może być łatwo zdefiniowany oraz wytrenowany przy użyciu wysokopoziomowych bibliotek języka Python takich jak:

Keras
Lasagne

Zobacz też

Perceptron

Przypisy

↑ ^a ^b ^c Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep learning.
↑ Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych.
↑ Stephen Marsland: Machine Learning : an algorithmic perspective. ISBN 978-1-4665-8328-3.

[deep-1] Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep learning.

[leksykon-2] Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych.

[Marsland-3] Stephen Marsland: Machine Learning : an algorithmic perspective. ISBN 978-1-4665-8328-3.

[1]

[2]

[3]

Paradygmaty	uczenie nadzorowane uczenie nienadzorowane uczenie przez wzmacnianie uczenie samonadzorowane
Zagadnienia	inferencja gramatyki inżynieria cech klasteryzacja klasyfikacja regresja redukcja wymiaru uczenie multimodalne uczenie (się) cech wykrywanie anomalii
Uczenie nadzorowane (Klasyfikacja, Regresja)	drzewa klasyfikacyjne uczenie zespołowe agregacja las losowy k najbliższych sąsiadów regresja liniowa naiwny klasyfikator bayesowski sieć neuronowa regresja logistyczna perceptron maszyna wektorów nośnych
Klasteryzacja	grupowanie hierarchiczne algorytm centroidów DBSCAN inferencja gramatyki
Redukcja wymiaru	analiza czynnikowa korelacja kanoniczna liniowa analiza dyskryminacyjna analiza głównych składowych
Sieć neuronowa	autoenkoder uczenie głębokie jednokierunkowa sieć neuronowa model dyfuzyjny rekurencyjna sieć neuronowa LSTM sieć generatywna GAN sieć Kohonena konwolucyjna sieć neuronowa transformer