Scrapy - Environnement
Dans ce chapitre, nous verrons comment installer et configurer Scrapy. Scrapy doit être installé avec Python.
Scrapy peut être installé en utilisant pip. Pour installer, exécutez la commande suivante -
pip install Scrapy
les fenêtres
Note - Python 3 n'est pas pris en charge sur le système d'exploitation Windows.
Step 1- Installez Python 2.7 depuis Python
Définissez les variables d'environnement en ajoutant les chemins suivants au PATH -
C:\Python27\;C:\Python27\Scripts\;
Vous pouvez vérifier la version Python en utilisant la commande suivante -
python --version
Step 2- Installez OpenSSL .
Ajoutez C: \ OpenSSL-Win32 \ bin dans vos variables d'environnement.
Note - OpenSSL est préinstallé dans tous les systèmes d'exploitation à l'exception de Windows.
Step 3- Installez les redistribuables Visual C ++ 2008 .
Step 4- Installez pywin32 .
Step 5- Installez pip pour les versions Python antérieures à 2.7.9.
Vous pouvez vérifier la version de pip à l'aide de la commande suivante -
pip --version
Step 6 - Pour installer scrapy, exécutez la commande suivante -
pip install Scrapy
Anaconda
Si anaconda ou miniconda est installé sur votre machine, exécutez la commande ci-dessous pour installer Scrapy en utilisant conda -
conda install -c scrapinghub scrapy
La société Scrapinghub prend en charge les packages conda officiels pour Linux, Windows et OS X.
Note - Il est recommandé d'installer Scrapy à l'aide de la commande ci-dessus si vous rencontrez des problèmes lors de l'installation via pip.
Ubuntu 9.10 ou supérieur
La dernière version de Python est préinstallée sur le système d'exploitation Ubuntu. Utilisez les packages Ubuntu aptgettable fournis par Scrapinghub. Pour utiliser les packages -
Step 1 - Vous devez importer la clé GPG utilisée pour signer les packages Scrapy dans le porte-clés APT -
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
Step 2 - Ensuite, utilisez la commande suivante pour créer le fichier /etc/apt/sources.list.d/scrapy.list -
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee
/etc/apt/sources.list.d/scrapy.list
Step 3 - Mettre à jour la liste des paquets et installer scrapy -
sudo apt-get update && sudo apt-get install scrapy
Archlinux
Vous pouvez installer Scrapy à partir du package AUR Scrapy en utilisant la commande suivante -
yaourt -S scrapy
Mac OS X
Utilisez la commande suivante pour installer les outils de ligne de commande Xcode -
xcode-select --install
Au lieu d'utiliser le système Python, installez une nouvelle version mise à jour qui n'entre pas en conflit avec le reste de votre système.
Step 1- Installez homebrew .
Step 2 - Définissez la variable d'environnement PATH pour spécifier que les packages homebrew doivent être utilisés avant les packages système -
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
Step 3 - Pour vous assurer que les modifications sont effectuées, rechargez .bashrc en utilisant la commande suivante -
source ~/.bashrc
Step 4 - Ensuite, installez Python à l'aide de la commande suivante -
brew install python
Step 5 - Installez Scrapy en utilisant la commande suivante -
pip install Scrapy