Funkcja aktywacji

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.

Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia[1].

W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak do powszechnego użytku weszły właściwie cztery z nich: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (neuron sigmoidalny), funkcja tangensoidalna (dokładnie jest to funkcja tangens hiperboliczny, ale skrótowo mówi się właśnie neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)[1].

Do najczęściej używanych funkcji aktywacji należą:

Funkcja aktywacji Wzór matematyczny Gładka Monotoniczna Różniczkowalna Uwagi
Funkcja liniowa T T T
  • Funkcja nieograniczona
  • Z reguły
Jednostronnie obcięta funkcja liniowa T T T (oprócz punktu )
  • Brak górnej granicy
Obcięta funkcja liniowa

N T T (oprócz punktów i )
  • Przedziałami liniowa
Funkcja progowa unipolarna

N T N
  • a – zadana wartość progowa
  • Z reguły
  • Taką funkcję aktywacji zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna

N T N
  • a – zadana wartość progowa
  • Z reguły
Sigmoidalna funkcja unipolarna

T T T
  • Z reguły
  • Gdy funkcja przechodzi w progową unipolarną funkcję aktywacji
Sigmoidalna funkcja bipolarna (tangens hiperboliczny)

T T T
  • Z reguły
  • Gdy funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa

T N T
  • e – liczba Eulera
Znormalizowana funkcja wykładnicza (Softmax) T T T
  • Prawdopodobieństwo zawsze sumuje się do jedności:
  • e – liczba Eulera
  • K - szerokość wektorów wejściowego i wyjściowego
  • Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych

Przypisy[edytuj | edytuj kod]