ReLU est une fonction d’activation très couramment utilisée. Acronyme de Rectified Linear Unit (unité linéaire rectifiée), elle permet tout simplement de remplacer les résultats négatifs par zéro.

Elle peut s’exprimer mathématiquement de la façon suivante :

f(x) = max(0,x)

Ou d’un point de vue algorithmique de la façon suivante :

fonction relu(x)

si x >0 retourne x sinon retourne 0

fin fonction