Durée: 12 mois
Rubrique: Ingénieur IA
Les Réseaux de Neurones Récurrents (RNN) sont une catégorie spéciale de réseaux de neurones bien adaptée au traitement des données séquentielles. Contrairement aux réseaux de neurones traditionnels, les RNN possèdent des connections récurrentes, permettant à l'information de persister. Cette section détaille la structure d'un RNN typique, ainsi que le flux de données à travers ce type de réseau.
La structure d'un RNN est caractérisée par une série de couches récurrentes. À chaque étape de temps ( t ), une unité récurrente reçoit deux entrées:
Ces entrées sont ensuite combinées pour produire l'état caché actuel ( ht ) en utilisant une fonction d'activation nonlinéaire, généralement une fonction sigmoïde ou tanh. La formule pour l'état caché actuel est donnée par:
[ ht = f(W \cdot xt + U \cdot h{t1} + b) ]
Audelà des unités récurrentes, les RNN peuvent aussi inclure une couche de sortie, transformant l'état caché actuel en sortie prédite ( yt ).
Le flux de données à travers un RNN peut être décrit de la manière suivante:
Ce processus se poursuit pour chaque pas de temps ( t ) dans la séquence. L'utilisation des états cachés permet aux RNN de capturer des dépendances temporelles, rendant ces réseaux efficaces pour des tâches comme la prédiction de séquences et le traitement du langage naturel (TLP).
Un point crucial est que les poids ( W ) et ( U ), ainsi que le biais ( b ), sont partagés à travers tous les pas de temps, ce qui permet au réseau de généraliser les séquences de différentes longueurs.