Funkcja aktywacji to pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej . Do najczęściej używanych funkcji aktywacji należą:
Funkcja aktywacji
Wzór matematyczny
Gładka
Monotoniczna
Różniczkowalna
Uwagi
Funkcja liniowa
y
(
x
)
=
a
x
+
b
{\displaystyle y(x)=ax+b}
T
T
T
Funkcja nieograniczona
Z reguły
b
=
0
{\displaystyle b=0}
Obcięta funkcja liniowa
y
(
x
)
=
{
−
1
d
l
a
x
<
−
1
x
d
l
a
−
1
≤
x
≤
1
1
d
l
a
x
>
1
{\displaystyle y(x)=\left\{{\begin{matrix}-1&dla&x<-1\\x&dla&-1\leq x\leq 1\\1&dla&x>1\\\end{matrix}}\right.}
N
T
T - oprócz punktów x = 1 i x = -1
Funkcja progowa unipolarna
y
(
x
)
=
{
0
d
l
a
x
<
a
1
d
l
a
x
≥
a
{\displaystyle y(x)=\left\{{\begin{matrix}0&dla&x<a\\1&dla&x\geq a\\\end{matrix}}\right.}
N
T
N
a - zadana wartość progowa
Z reguły
a
=
0
{\displaystyle a=0}
Taką funkcję aktywacji (
a
=
0
{\displaystyle a=0}
Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna
y
(
x
)
=
{
−
1
d
l
a
x
<
a
1
d
l
a
x
≥
a
{\displaystyle y(x)=\left\{{\begin{matrix}-1&dla&x<a\\1&dla&x\geq a\\\end{matrix}}\right.}
N
T
N
a - zadana wartość progowa
Z reguły
a
=
0
{\displaystyle a=0}
Sigmoidalna funkcja unipolarna
y
(
x
)
=
1
1
+
e
−
β
x
{\displaystyle y(x)={\frac {1}{1+e^{-\beta x}}}}
T
T
T
Z reguły
β
∈
(
0
,
1
]
{\displaystyle \beta \in \left(0,1\right]}
Gdy
β
→
∞
{\displaystyle \beta \to \infty }
Sigmoidalna funkcja bipolarna (tangens hiperboliczny )
y
(
x
)
=
2
1
+
e
−
β
x
−
1
=
1
−
e
−
β
x
1
+
e
−
β
x
{\displaystyle y(x)={\frac {2}{1+e^{-\beta x}}}-1={\frac {1-e^{-\beta x}}{1+e^{-\beta x}}}}
T
T
T
Z reguły
β
∈
(
0
,
1
]
{\displaystyle \beta \in \left(0,1\right]}
Gdy
β
→
∞
{\displaystyle \beta \to \infty }
Funkcja Gaussa
y
(
x
)
=
a
e
−
(
x
−
b
)
2
2
c
2
{\displaystyle y(x)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}}
T
N
T
a
,
b
,
c
>
0
{\displaystyle a,b,c>0}
e - liczba Eulera
![{\displaystyle \beta \in \left(0,1\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b30ab9a8a9c3a06415558f16845ec72968d3cd82)
