Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej . Do najczęściej używanych funkcji aktywacji należą:
Funkcja aktywacji
Wzór matematyczny
Gładka
Monotoniczna
Różniczkowalna
Uwagi
Funkcja liniowa
y
(
x
)
=
a
x
+
b
{\displaystyle y(x)=ax+b}
T
T
T
Funkcja nieograniczona
Z reguły
b
=
0
{\displaystyle b=0}
Jednostronnie obcięta funkcja liniowa
y
(
x
)
=
{
0
dla
x
<
0
x
dla
x
⩾
0
{\displaystyle y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.}
T
T
T (oprócz punktu
x
=
0
{\displaystyle x=0}
Obcięta funkcja liniowa
y
(
x
)
=
{
−
1
dla
x
<
−
1
x
dla
−
1
⩽
x
⩽
1
1
dla
x
>
1
{\displaystyle y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<-1\\x&{\text{dla}}&-1\leqslant x\leqslant 1\\1&{\text{dla}}&x>1\end{matrix}}\right.}
N
T
T (oprócz punktów
x
=
1
{\displaystyle x=1}
x
=
−
1
{\displaystyle x=-1}
Funkcja progowa unipolarna
y
(
x
)
=
{
0
dla
x
<
a
1
dla
x
⩾
a
{\displaystyle y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.}
N
T
N
a – zadana wartość progowa
Z reguły
a
=
0
{\displaystyle a=0}
Taką funkcję aktywacji
(
a
=
0
)
{\displaystyle (a=0)}
Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna
y
(
x
)
=
{
−
1
dla
x
<
a
1
dla
x
⩾
a
{\displaystyle y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.}
N
T
N
a – zadana wartość progowa
Z reguły
a
=
0
{\displaystyle a=0}
Sigmoidalna funkcja unipolarna
y
(
x
)
=
1
1
+
e
−
β
x
{\displaystyle y(x)={\frac {1}{1+e^{-\beta x}}}}
T
T
T
Z reguły
β
∈
(
0
,
1
]
{\displaystyle \beta \in \left(0,1\right]}
Gdy
β
→
∞
,
{\displaystyle \beta \to \infty ,}
Sigmoidalna funkcja bipolarna (tangens hiperboliczny )
y
(
x
)
=
2
1
+
e
−
β
x
−
1
=
1
−
e
−
β
x
1
+
e
−
β
x
{\displaystyle y(x)={\frac {2}{1+e^{-\beta x}}}-1={\frac {1-e^{-\beta x}}{1+e^{-\beta x}}}}
T
T
T
Z reguły
β
∈
(
0
,
1
]
.
{\displaystyle \beta \in \left(0,1\right].}
Gdy
β
→
∞
,
{\displaystyle \beta \to \infty ,}
Funkcja Gaussa
y
(
x
)
=
a
e
−
(
x
−
b
)
2
2
c
2
{\displaystyle y(x)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}}
T
N
T
a
,
b
,
c
>
0
{\displaystyle a,b,c>0}
e – liczba Eulera
Znormalizowana funkcja wykładnicza (Softmax)
σ
(
z
)
j
=
e
z
j
∑
k
=
1
K
e
z
k
{\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}
T
T
T
Prawdopodobieństwo zawsze sumuje się do jedności:
∑
k
=
1
K
σ
(
z
)
k
=
1
{\displaystyle {\sum _{k=1}^{K}\sigma (\mathbf {z} )_{k}}=1}
e – liczba Eulera
K - szerokość wektorów wejściowego i wyjściowegoStosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych
![{\displaystyle \beta \in \left(0,1\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b30ab9a8a9c3a06415558f16845ec72968d3cd82)
![{\displaystyle \beta \in \left(0,1\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1b895524aea08be522a70a17889e55fab18d37cd)
