Recommandations pour la formation sur les réseaux de neurones
Dans ce chapitre, nous allons comprendre les différents aspects de la formation des réseaux neuronaux qui peuvent être implémentés à l'aide du framework TensorFlow.
Voici les dix recommandations, qui peuvent être évaluées -
Propagation arrière
La rétro-propagation est une méthode simple pour calculer des dérivées partielles, qui comprend la forme de base de composition la mieux adaptée aux réseaux neuronaux.
Descente de gradient stochastique
En descente de gradient stochastique, un batchest le nombre total d'exemples qu'un utilisateur utilise pour calculer le gradient en une seule itération. Jusqu'à présent, on suppose que le lot a été l'ensemble de données complet. La meilleure illustration fonctionne à l'échelle de Google; les ensembles de données contiennent souvent des milliards, voire des centaines de milliards d'exemples.
Décroissance du taux d'apprentissage
L'adaptation du taux d'apprentissage est l'une des caractéristiques les plus importantes de l'optimisation de la descente de gradient. Ceci est crucial pour la mise en œuvre de TensorFlow.
Abandonner
Les réseaux neuronaux profonds avec un grand nombre de paramètres forment de puissants systèmes d'apprentissage automatique. Cependant, le sur-ajustement est un problème sérieux dans de tels réseaux.
Regroupement maximum
Le pooling maximal est un processus de discrétisation basé sur des échantillons. Le but est de sous-échantillonner une représentation d'entrée, ce qui réduit la dimensionnalité avec les hypothèses requises.
Mémoire à long terme (LSTM)
LSTM contrôle la décision sur les entrées à prendre dans le neurone spécifié. Il inclut le contrôle sur la décision de ce qui doit être calculé et quelle sortie doit être générée.
