Scrapy - Environnement

Dans ce chapitre, nous verrons comment installer et configurer Scrapy. Scrapy doit être installé avec Python.

Scrapy peut être installé en utilisant pip. Pour installer, exécutez la commande suivante -

pip install Scrapy

les fenêtres

Note - Python 3 n'est pas pris en charge sur le système d'exploitation Windows.

Step 1- Installez Python 2.7 depuis Python

Définissez les variables d'environnement en ajoutant les chemins suivants au PATH -

C:\Python27\;C:\Python27\Scripts\;

Vous pouvez vérifier la version Python en utilisant la commande suivante -

python --version

Step 2- Installez OpenSSL .

Ajoutez C: \ OpenSSL-Win32 \ bin dans vos variables d'environnement.

Note - OpenSSL est préinstallé dans tous les systèmes d'exploitation à l'exception de Windows.

Step 3- Installez les redistribuables Visual C ++ 2008 .

Step 4- Installez pywin32 .

Step 5- Installez pip pour les versions Python antérieures à 2.7.9.

Vous pouvez vérifier la version de pip à l'aide de la commande suivante -

pip --version

Step 6 - Pour installer scrapy, exécutez la commande suivante -

pip install Scrapy

Anaconda

Si anaconda ou miniconda est installé sur votre machine, exécutez la commande ci-dessous pour installer Scrapy en utilisant conda -

conda install -c scrapinghub scrapy

La société Scrapinghub prend en charge les packages conda officiels pour Linux, Windows et OS X.

Note - Il est recommandé d'installer Scrapy à l'aide de la commande ci-dessus si vous rencontrez des problèmes lors de l'installation via pip.

Ubuntu 9.10 ou supérieur

La dernière version de Python est préinstallée sur le système d'exploitation Ubuntu. Utilisez les packages Ubuntu aptgettable fournis par Scrapinghub. Pour utiliser les packages -

Step 1 - Vous devez importer la clé GPG utilisée pour signer les packages Scrapy dans le porte-clés APT -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - Ensuite, utilisez la commande suivante pour créer le fichier /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Mettre à jour la liste des paquets et installer scrapy -

sudo apt-get update && sudo apt-get install scrapy

Archlinux

Vous pouvez installer Scrapy à partir du package AUR Scrapy en utilisant la commande suivante -

yaourt -S scrapy

Mac OS X

Utilisez la commande suivante pour installer les outils de ligne de commande Xcode -

xcode-select --install

Au lieu d'utiliser le système Python, installez une nouvelle version mise à jour qui n'entre pas en conflit avec le reste de votre système.

Step 1- Installez homebrew .

Step 2 - Définissez la variable d'environnement PATH pour spécifier que les packages homebrew doivent être utilisés avant les packages système -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Pour vous assurer que les modifications sont effectuées, rechargez .bashrc en utilisant la commande suivante -

source ~/.bashrc

Step 4 - Ensuite, installez Python à l'aide de la commande suivante -

brew install python

Step 5 - Installez Scrapy en utilisant la commande suivante -

pip install Scrapy