Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia[1].
W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)[1].
W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.
Gdy funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa
e – liczba Eulera
Znormalizowana funkcja wykładnicza (Softmax)
Prawdopodobieństwo zawsze sumuje się do jedności:
e – liczba Eulera
K - szerokość wektorów wejściowego i wyjściowego
Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych