Réseau de neurones artificiels - Concepts de base

Les réseaux neuronaux sont des dispositifs informatiques parallèles, qui sont essentiellement une tentative de créer un modèle informatique du cerveau. L'objectif principal est de développer un système pour effectuer diverses tâches de calcul plus rapidement que les systèmes traditionnels. Ces tâches comprennent la reconnaissance et la classification de modèles, l'approximation, l'optimisation et la mise en cluster des données.

Qu'est-ce que le réseau neuronal artificiel?

Artificial Neural Network (ANN) est un système informatique efficace dont le thème central est emprunté à l'analogie des réseaux de neurones biologiques. Les ANN sont également appelés «systèmes neuronaux artificiels», ou «systèmes de traitement distribués parallèles» ou «systèmes connexionnistes». ANN acquiert une grande collection d'unités qui sont interconnectées selon un certain modèle pour permettre la communication entre les unités. Ces unités, également appelées nœuds ou neurones, sont de simples processeurs qui fonctionnent en parallèle.

Chaque neurone est connecté à un autre neurone via un lien de connexion. Chaque lien de connexion est associé à un poids contenant des informations sur le signal d'entrée. Il s'agit de l'information la plus utile pour les neurones pour résoudre un problème particulier car le poids excite ou inhibe généralement le signal qui est communiqué. Chaque neurone a un état interne, appelé signal d'activation. Les signaux de sortie, qui sont produits après la combinaison des signaux d'entrée et de la règle d'activation, peuvent être envoyés à d'autres unités.

Une brève histoire de ANN

L'histoire d'ANN peut être divisée en trois époques suivantes -

ANN des années 40 aux années 60

Voici quelques développements clés de cette époque:

  • 1943 - On a supposé que le concept de réseau de neurones a commencé avec les travaux du physiologiste, Warren McCulloch, et du mathématicien, Walter Pitts, lorsqu'en 1943 ils ont modélisé un simple réseau de neurones à l'aide de circuits électriques afin de décrire comment les neurones du cerveau pourraient fonctionner .

  • 1949- Le livre de Donald Hebb, The Organization of Behavior , met en avant le fait que l'activation répétée d'un neurone par un autre augmente sa force à chaque fois qu'ils sont utilisés.

  • 1956 - Un réseau de mémoire associative a été introduit par Taylor.

  • 1958 - Une méthode d'apprentissage pour le modèle de neurone McCulloch et Pitts nommé Perceptron a été inventée par Rosenblatt.

  • 1960 - Bernard Widrow et Marcian Hoff ont développé des modèles appelés «ADALINE» et «MADALINE».

ANN des années 60 aux années 80

Voici quelques développements clés de cette époque:

  • 1961 - Rosenblatt a fait une tentative infructueuse mais a proposé le schéma de «rétropropagation» pour les réseaux multicouches.

  • 1964 - Taylor a construit un circuit gagnant-gagnant avec des inhibitions parmi les unités de sortie.

  • 1969 - Le perceptron multicouche (MLP) a été inventé par Minsky et Papert.

  • 1971 - Kohonen a développé des mémoires associatives.

  • 1976 - Stephen Grossberg et Gail Carpenter ont développé la théorie de la résonance adaptative.

ANN des années 1980 à aujourd'hui

Voici quelques développements clés de cette époque:

  • 1982 - Le développement majeur a été l'approche énergétique de Hopfield.

  • 1985 - La machine Boltzmann a été développée par Ackley, Hinton et Sejnowski.

  • 1986 - Rumelhart, Hinton et Williams ont introduit la règle de delta généralisée.

  • 1988 - Kosko a développé la mémoire associative binaire (BAM) et a également donné le concept de logique floue dans ANN.

La revue historique montre que des progrès significatifs ont été réalisés dans ce domaine. Des puces basées sur des réseaux neuronaux font leur apparition et des applications à des problèmes complexes sont en cours de développement. Certes, aujourd'hui est une période de transition pour la technologie des réseaux neuronaux.

Neurone biologique

Une cellule nerveuse (neurone) est une cellule biologique spéciale qui traite les informations. Selon une estimation, il existe un grand nombre de neurones, environ 10 11 avec de nombreuses interconnexions, environ 10 15 .

Diagramme schématique

Fonctionnement d'un neurone biologique

Comme le montre le diagramme ci-dessus, un neurone typique se compose des quatre parties suivantes à l'aide desquelles nous pouvons expliquer son fonctionnement -

  • Dendrites- Ce sont des branches arborescentes, chargées de recevoir les informations des autres neurones auxquels elles sont connectées. En un autre sens, on peut dire qu'ils sont comme les oreilles du neurone.

  • Soma - C'est le corps cellulaire du neurone et est responsable du traitement des informations, qu'ils ont reçues des dendrites.

  • Axon - C'est comme un câble par lequel les neurones envoient les informations.

  • Synapses - C'est la connexion entre l'axone et les autres dendrites neuronales.

ANN contre BNN

Avant de jeter un œil aux différences entre le réseau neuronal artificiel (ANN) et le réseau neuronal biologique (BNN), examinons les similitudes basées sur la terminologie entre ces deux.

Réseau neuronal biologique (BNN) Réseau de neurones artificiels (ANN)
Soma Nœud
Les dendrites Contribution
Synapse Poids ou interconnexions
Axon Production

Le tableau suivant montre la comparaison entre ANN et BNN sur la base de certains critères mentionnés.

Critères BNN ANN
Processing Massivement parallèle, lent mais supérieur à ANN Massivement parallèle, rapide mais inférieur à BNN
Size 10 11 neurones et 10 15 interconnexions 10 2 à 10 4 nœuds (dépend principalement du type d'application et du concepteur de réseau)
Learning Ils peuvent tolérer l'ambiguïté Des données très précises, structurées et formatées sont nécessaires pour tolérer l'ambiguïté
Fault tolerance Les performances se dégradent avec des dommages même partiels Il est capable de performances robustes et a donc le potentiel d'être tolérant aux pannes
Storage capacity Stocke les informations dans la synapse Stocke les informations dans des emplacements de mémoire continus

Modèle de réseau neuronal artificiel

Le diagramme suivant représente le modèle général de ANN suivi de son traitement.

Pour le modèle général ci-dessus de réseau de neurones artificiels, l'entrée nette peut être calculée comme suit -

$$ y_ {dans} \: = \: x_ {1} .w_ {1} \: + \: x_ {2} .w_ {2} \: + \: x_ {3} .w_ {3} \: \ dotso \: x_ {m} .w_ {m} $$

c'est-à-dire, entrée nette $ y_ {in} \: = \: \ sum_i ^ m \: x_ {i} .w_ {i} $

La sortie peut être calculée en appliquant la fonction d'activation sur l'entrée nette.

$$ Y \: = \: F (y_ {dans}) $$

Sortie = fonction (entrée nette calculée)