Apprentissage et adaptation
Comme indiqué précédemment, ANN est complètement inspiré par le fonctionnement du système nerveux biologique, c'est-à-dire du cerveau humain. La caractéristique la plus impressionnante du cerveau humain est d'apprendre, d'où la même caractéristique est acquise par ANN.
Qu'est-ce que l'apprentissage dans ANN?
Fondamentalement, apprendre signifie faire et adapter le changement en lui-même au fur et à mesure qu'il y a un changement d'environnement. ANN est un système complexe ou plus précisément on peut dire qu'il s'agit d'un système adaptatif complexe, qui peut changer sa structure interne en fonction des informations qui le traversent.
Pourquoi c'est important?
Étant un système adaptatif complexe, l'apprentissage en ANN implique qu'une unité de traitement est capable de changer son comportement d'entrée / sortie en raison du changement d'environnement. L'importance de l'apprentissage dans ANN augmente en raison de la fonction d'activation fixe ainsi que du vecteur d'entrée / sortie, lorsqu'un réseau particulier est construit. Maintenant, pour changer le comportement d'entrée / sortie, nous devons ajuster les poids.
Classification
Il peut être défini comme le processus d'apprentissage pour distinguer les données d'échantillons en différentes classes en trouvant des caractéristiques communes entre les échantillons des mêmes classes. Par exemple, pour effectuer une formation sur ANN, nous avons des échantillons de formation avec des fonctionnalités uniques, et pour effectuer ses tests, nous avons des échantillons de test avec d'autres fonctionnalités uniques. La classification est un exemple d'apprentissage supervisé.
Règles d'apprentissage du réseau neuronal
Nous savons que, lors de l'apprentissage ANN, pour changer le comportement d'entrée / sortie, nous devons ajuster les poids. Par conséquent, une méthode est nécessaire à l'aide de laquelle les poids peuvent être modifiés. Ces méthodes sont appelées règles d'apprentissage, qui sont simplement des algorithmes ou des équations. Voici quelques règles d'apprentissage pour le réseau neuronal -
Règle d'apprentissage Hebbian
Cette règle, l'une des plus anciennes et des plus simples, a été introduite par Donald Hebb dans son livre The Organization of Behavior en 1949. Il s'agit d'une sorte d'apprentissage par anticipation et non supervisé.
Basic Concept - Cette règle est basée sur une proposition donnée par Hebb, qui a écrit -
«Lorsqu'un axone de la cellule A est suffisamment proche pour exciter une cellule B et participe de manière répétée ou persistante à son déclenchement, un processus de croissance ou un changement métabolique se produit dans une ou les deux cellules de telle sorte que l'efficacité de A, comme l'une des cellules déclenchant B , est augmenté. »
À partir du postulat ci-dessus, nous pouvons conclure que les connexions entre deux neurones pourraient être renforcées si les neurones se déclenchent en même temps et pourraient s'affaiblir s'ils se déclenchent à des moments différents.
Mathematical Formulation - Selon la règle d'apprentissage Hebbian, voici la formule pour augmenter le poids de la connexion à chaque pas de temps.
$$ \ Delta w_ {ji} (t) \: = \: \ alpha x_ {i} (t) .y_ {j} (t) $$
Ici, $ \ Delta w_ {ji} (t) $ = incrément par lequel le poids de la connexion augmente au pas de temps t
$ \ alpha $ = le taux d'apprentissage positif et constant
$ x_ {i} (t) $ = la valeur d'entrée du neurone pré-synaptique au pas de temps t
$ y_ {i} (t) $ = la sortie du neurone pré-synaptique au même pas de temps t
Règle d'apprentissage Perceptron
Cette règle est une erreur corrigeant l'algorithme d'apprentissage supervisé des réseaux à anticipation monocouche avec fonction d'activation linéaire, introduit par Rosenblatt.
Basic Concept- Comme étant de nature supervisée, pour calculer l'erreur, il y aurait une comparaison entre la sortie souhaitée / cible et la sortie réelle. S'il y a une différence trouvée, alors une modification doit être apportée aux poids de connexion.
Mathematical Formulation - Pour expliquer sa formulation mathématique, supposons que nous ayons un nombre 'n' de vecteurs d'entrée finis, x (n), ainsi que son vecteur de sortie souhaité / cible t (n), où n = 1 à N.
Maintenant, la sortie `` y '' peut être calculée, comme expliqué précédemment sur la base de l'entrée nette, et la fonction d'activation appliquée sur cette entrée nette peut être exprimée comme suit -
$$ y \: = \: f (y_ {in}) \: = \: \ begin {cases} 1, & y_ {in} \:> \: \ theta \\ 0, & y_ {in} \: \ leqslant \: \ theta \ end {cas} $$
Où θ est le seuil.
La mise à jour du poids peut être effectuée dans les deux cas suivants -
Case I - quand t ≠ y, puis
$$ w (nouveau) \: = \: w (ancien) \: + \; tx $$
Case II - quand t = y, puis
Pas de changement de poids
Règle d'apprentissage Delta (règle Widrow-Hoff)
Elle est introduite par Bernard Widrow et Marcian Hoff, également appelée méthode des moindres carrés (LMS), pour minimiser l'erreur sur tous les modèles d'apprentissage. C'est une sorte d'algorithme d'apprentissage supervisé avec une fonction d'activation continue.
Basic Concept- La base de cette règle est l'approche en descente, qui se poursuit pour toujours. La règle Delta met à jour les poids synaptiques afin de minimiser l'entrée nette dans l'unité de sortie et la valeur cible.
Mathematical Formulation - Pour mettre à jour les poids synaptiques, la règle delta est donnée par
$$ \ Delta w_ {i} \: = \: \ alpha \ :. x_ {i} .e_ {j} $$
Ici $ \ Delta w_ {i} $ = changement de poids pour le i ème modèle;
$ \ alpha $ = le taux d'apprentissage positif et constant;
$ x_ {i} $ = la valeur d'entrée du neurone pré-synaptique;
$ e_ {j} $ = $ (t \: - \: y_ {in}) $, la différence entre la sortie souhaitée / cible et la sortie réelle $ y_ {in} $
La règle delta ci-dessus ne concerne qu'une seule unité de sortie.
La mise à jour du poids peut être effectuée dans les deux cas suivants -
Case-I - quand t ≠ y, puis
$$ w (nouveau) \: = \: w (ancien) \: + \: \ Delta w $$
Case-II - quand t = y, puis
Pas de changement de poids
Règle d'apprentissage compétitif (le gagnant prend tout)
Il s'agit d'un apprentissage non supervisé dans lequel les nœuds de sortie essaient de se concurrencer pour représenter le modèle d'entrée. Pour comprendre cette règle d'apprentissage, il faut comprendre le réseau concurrentiel qui se donne comme suit -
Basic Concept of Competitive Network- Ce réseau est comme un réseau à anticipation monocouche avec connexion de rétroaction entre les sorties. Les connexions entre les sorties sont de type inhibitrices, représentées par des lignes pointillées, ce qui signifie que les concurrents ne se soutiennent jamais.
Basic Concept of Competitive Learning Rule- Comme indiqué précédemment, il y aura une concurrence entre les nœuds de sortie. Par conséquent, le concept principal est que pendant l'entraînement, l'unité de sortie avec l'activation la plus élevée d'un modèle d'entrée donné sera déclarée gagnante. Cette règle est également appelée Winner-takes-all car seul le neurone gagnant est mis à jour et le reste des neurones reste inchangé.
Mathematical formulation - Voici les trois facteurs importants pour la formulation mathématique de cette règle d'apprentissage -
Condition to be a winner - Supposons que si un neurone $ y_ {k} $ veut être le gagnant alors il y aurait la condition suivante -
$$ y_ {k} \: = \: \ begin {cases} 1 & if \: v_ {k} \:> \: v_ {j} \: for \: all \: j, \: j \: \ neq \: k \\ 0 & sinon \ end {cases} $$
Cela signifie que si un neurone, disons $ y_ {k} $ , veut gagner, alors son champ local induit (la sortie de l'unité de sommation), disons $ v_ {k} $, doit être le plus grand parmi tous les autres neurones dans le réseau.
Condition of sum total of weight - Une autre contrainte sur la règle d'apprentissage compétitif est que la somme des poids pour un neurone de sortie particulier va être de 1. Par exemple, si nous considérons neurone k puis -
$$ \ displaystyle \ sum \ limits_ {j} w_ {kj} \: = \: 1 \: \: \: \: \: \: \: \: \: for \: all \: k $$
Change of weight for winner- Si un neurone ne répond pas au modèle d'entrée, alors aucun apprentissage n'a lieu dans ce neurone. Cependant, si un neurone particulier gagne, les poids correspondants sont ajustés comme suit
$$ \ Delta w_ {kj} \: = \: \ begin {cases} - \ alpha (x_ {j} \: - \: w_ {kj}), & if \: neuron \: k \: wins \\ 0, & if \: neuron \: k \: loss \ end {cases} $$
Ici $ \ alpha $ est le taux d'apprentissage.
Cela montre clairement que nous favorisons le neurone gagnant en ajustant son poids et s'il y a une perte de neurone, alors nous n'avons pas besoin de nous soucier de réajuster son poids.
Règle d'apprentissage Outstar
Cette règle, introduite par Grossberg, concerne l'apprentissage supervisé car les résultats souhaités sont connus. Il est également appelé apprentissage de Grossberg.
Basic Concept- Cette règle est appliquée sur les neurones disposés en couche. Il est spécialement conçu pour produire une sortie souhaitéed de la couche de p les neurones.
Mathematical Formulation - Les ajustements de poids dans cette règle sont calculés comme suit
$$ \ Delta w_ {j} \: = \: \ alpha \ :( d \: - \: w_ {j}) $$
Ici d est la sortie neuronale souhaitée et $ \ alpha $ est le taux d'apprentissage.