Funkcja aktywacji

Funkcja aktywacji to pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej. Do najczęściej używanych funkcji aktywacji należą:

Funkcja aktywacji	Wzór matematyczny	Gładka	Monotoniczna	Różniczkowalna	Uwagi
Funkcja liniowa	$y(x)=ax+b$	T	T	T	Funkcja nieograniczona Z reguły $b=0$
Jednostronnie obcięta funkcja liniowa	$y(x)=\left\{{\begin{matrix}0&dla&x<0\\x&dla&x\geq 1\\\end{matrix}}\right.$	T	T	T - oprócz punktu x = 0	Brak górnej granicy
Obcięta funkcja liniowa	$y(x)=\left\{{\begin{matrix}-1&dla&x<-1\\x&dla&-1\leq x\leq 1\\1&dla&x>1\\\end{matrix}}\right.$	N	T	T - oprócz punktów x = 1 i x = -1	Przedziałami liniowa
Funkcja progowa unipolarna	$y(x)=\left\{{\begin{matrix}0&dla&x<a\\1&dla&x\geq a\\\end{matrix}}\right.$	N	T	N	a - zadana wartość progowa Z reguły $a=0$ Taką funkcję aktywacji ($a=0$) zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna	$y(x)=\left\{{\begin{matrix}-1&dla&x<a\\1&dla&x\geq a\\\end{matrix}}\right.$	N	T	N	a - zadana wartość progowa Z reguły $a=0$
Sigmoidalna funkcja unipolarna	$y(x)={\frac {1}{1+e^{-\beta x}}}$	T	T	T	Z reguły $\beta \in \left(0,1\right]$ Gdy $\beta \to \infty$, funkcja przechodzi w progową unipolarną funkcję aktywacji
Sigmoidalna funkcja bipolarna (tangens hiperboliczny)	$y(x)={\frac {2}{1+e^{-\beta x}}}-1={\frac {1-e^{-\beta x}}{1+e^{-\beta x}}}$	T	T	T	Z reguły $\beta \in \left(0,1\right]$. Gdy $\beta \to \infty$, funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa	$y(x)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}$	T	N	T	$a,b,c>0$ e - liczba Eulera