Rekurencyjna sieć neuronowa

Rekurencyjna sieć neuronowa (ang. recurrent neural network, RNN) – klasa sieci neuronowych, w której sygnał otrzymany na wyjściu sieci trafia powtórnie na jej wejście (taki obieg sygnału zwany jest sprzężeniem zwrotnym)^[1].

Różne rodzaje sprężenia zwrotnego: niebezpośrednie $w_{i}$ , w bok $w_{l}$ i bezpośrednie $w_{d}$

Jednorazowe pobudzenie struktury ze sprzężeniem zwrotnym może generować całą sekwencję nowych zjawisk i sygnałów, ponieważ sygnały z wyjścia sieci trafiają ponownie na jej wejścia, generując nowe sygnały aż do ustabilizowania się sygnałów wyjściowych^[1].

Takiemu przebiegowi sygnałów wyjściowych wszystkich neuronów, powstającemu w sieci spontanicznie i nie poddającemu się żadnej kontroli, towarzyszą często oscylacje, gwałtowne narastanie sygnałów (wręcz do nieskończoności) lub ich gradientowe znikanie aż do całkowitego wyzerowania całej sieci. Szczególnie skomplikowane są procesy powstawania i rozwoju chaosu, z którymi w takiej sieci też często miewamy do czynienia^[1]^[2]. Rozwiązaniem tego problemu jest długa pamięć krótkotrwała (LSTM)^[3].

Przypisy

↑ ^a ^b ^c Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych. s. 87. ISBN 978-83-63270-10-0.
↑ NicolasN. Zucchet NicolasN., AntonioA. Orvieto AntonioA., Recurrent neural networks: vanishing and exploding gradients are not the end of the story, arXiv, 5 listopada 2024, DOI: 10.48550/arXiv.2405.21064 [dostęp 2025-04-08] .
↑ JamesJ. Crooks JamesJ., Long Short-Term Memory Networks: Overcoming Vanishing Gradient Problem in Recurrent Neural Networks [online] [dostęp 2025-04-08] (ang.).

Linki zewnętrzne

Rekurencyjne Sieci Neuronowe, prof. dr hab. inż. Grzegorz Dudek, Politechnika Częstochowska, w serwisie YouTube

[leksykon-1] Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych. s. 87. ISBN 978-83-63270-10-0.

[2] NicolasN. Zucchet NicolasN., AntonioA. Orvieto AntonioA., Recurrent neural networks: vanishing and exploding gradients are not the end of the story, arXiv, 5 listopada 2024, DOI: 10.48550/arXiv.2405.21064 [dostęp 2025-04-08] .

[3] JamesJ. Crooks JamesJ., Long Short-Term Memory Networks: Overcoming Vanishing Gradient Problem in Recurrent Neural Networks [online] [dostęp 2025-04-08] (ang.).

[1]

[2]

[3]

Paradygmaty	Uczenie nadzorowane Uczenie nienadzorowane Uczenie przez wzmacnianie Uczenie samonadzorowane
Problemy	Inferencja gramatyki Inżynieria cech Klasteryzacja Klasyfikacja Regresja Redukcja wymiaru Uczenie multimodalne Uczenie (się) cech Wykrywanie anomalii
Uczenie nadzorowane (Klasyfikacja, Regresja)	Drzewa klasyfikacyjne Uczenie zespołowe Agregacja Las losowy K najbliższych sąsiadów Regresja liniowa Naiwny klasyfikator bayesowski Sieć neuronowa Regresja logistyczna Perceptron Maszyna wektorów nośnych
Klasteryzacja	Grupowanie hierarchiczne Algorytm centroidów DBSCAN Inferencja gramatyki
Redukcja wymiaru	Analiza czynnikowa Korelacja kanoniczna Liniowa analiza dyskryminacyjna Analiza głównych składowych
Sieć neuronowa	Autoenkoder Uczenie głębokie Jednokierunkowa sieć neuronowa Model dyfuzyjny Rekurencyjna sieć neuronowa LSTM Sieć generatywna GAN Sieć Kohonena Konwolucyjna sieć neuronowa Transformator