Microsoft Cognitive Toolkit (CNTK) - CPU et GPU
Microsoft Cognitive Toolkit propose deux versions de build différentes, à savoir CPU uniquement et GPU uniquement.
Version de construction du processeur uniquement
La version CPU de CNTK utilise uniquement Intel MKLML optimisé, où MKLML est le sous-ensemble de MKL (Math Kernel Library) et publié avec Intel MKL-DNN en tant que version terminée d'Intel MKL pour MKL-DNN.
GPU uniquement version de construction
D'autre part, la version de CNTK uniquement GPU utilise des bibliothèques NVIDIA hautement optimisées telles que CUB et cuDNN. Il prend en charge la formation distribuée sur plusieurs GPU et plusieurs machines. Pour une formation distribuée encore plus rapide dans CNTK, la version GPU-build comprend également -
SGD quantifié 1bit développé par MSR.
Algorithmes d'entraînement parallèles SGD en mode bloc.
Activation du GPU avec CNTK sous Windows
Dans la section précédente, nous avons vu comment installer la version de base de CNTK à utiliser avec le processeur. Voyons maintenant comment nous pouvons installer CNTK à utiliser avec un GPU. Mais avant de vous y plonger en profondeur, vous devez d'abord disposer d'une carte graphique prise en charge.
À l'heure actuelle, CNTK prend en charge la carte graphique NVIDIA avec au moins la prise en charge de CUDA 3.0. Pour vous en assurer, vous pouvez vérifier àhttps://developer.nvidia.com/cuda-gpus si votre GPU prend en charge CUDA.
Alors, voyons les étapes pour activer GPU avec CNTK sur Windows OS -
Step 1 - En fonction de la carte graphique que vous utilisez, vous devez d'abord disposer des derniers pilotes GeForce ou Quadro pour votre carte graphique.
Step 2 - Une fois que vous avez téléchargé les pilotes, vous devez installer la boîte à outils CUDA version 9.0 pour Windows à partir du site Web de NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. Après l'installation, exécutez le programme d'installation et suivez les instructions.
Step 3 - Ensuite, vous devez installer les binaires cuDNN à partir du site Web NVIDIA https://developer.nvidia.com/rdp/form/cudnn-download-survey. Avec la version CUDA 9.0, cuDNN 7.4.1 fonctionne bien. Fondamentalement, cuDNN est une couche au-dessus de CUDA, utilisée par CNTK.
Step 4 - Après avoir téléchargé les binaires cuDNN, vous devez extraire le fichier zip dans le dossier racine de l'installation de votre boîte à outils CUDA.
Step 5- C'est la dernière étape qui permettra l'utilisation du GPU dans CNTK. Exécutez la commande suivante dans l'invite Anaconda sur le système d'exploitation Windows -
pip install cntk-gpuActivation du GPU avec CNTK sous Linux
Voyons comment nous pouvons activer GPU avec CNTK sur Linux OS -
Téléchargement de la boîte à outils CUDA
Tout d'abord, vous devez installer la boîte à outils CUDA à partir du site Web NVIDIA https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type = runfilelocal .
Lancer le programme d'installation
Maintenant, une fois que vous avez des binaires sur le disque, exécutez le programme d'installation en ouvrant un terminal et en exécutant la commande suivante et les instructions à l'écran -
sh cuda_9.0.176_384.81_linux-runModifier le script de profil Bash
Après avoir installé la boîte à outils CUDA sur votre machine Linux, vous devez modifier le script de profil BASH. Pour cela, ouvrez d'abord le fichier $ HOME / .bashrc dans l'éditeur de texte. Maintenant, à la fin du script, incluez les lignes suivantes -
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
InstallingInstallation des bibliothèques cuDNN
Enfin, nous devons installer les binaires cuDNN. Il peut être téléchargé depuis le site Web de NVIDIAhttps://developer.nvidia.com/rdp/form/cudnn-download-survey. Avec la version CUDA 9.0, cuDNN 7.4.1 fonctionne bien. Fondamentalement, cuDNN est une couche au-dessus de CUDA, utilisée par CNTK.
Une fois la version téléchargée pour Linux, extrayez-la sur le /usr/local/cuda-9.0 dossier en utilisant la commande suivante -
tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgzModifiez le chemin d'accès au nom de fichier selon vos besoins.