Scrapy - Données grattées
La description
La meilleure façon de stocker les données récupérées consiste à utiliser les exportations de flux, ce qui garantit que les données sont correctement stockées à l'aide de plusieurs formats de sérialisation. JSON, lignes JSON, CSV, XML sont les formats facilement pris en charge dans les formats de sérialisation. Les données peuvent être stockées avec la commande suivante -
scrapy crawl dmoz -o data.jsonCette commande créera un data.jsonfichier contenant des données récupérées dans JSON. Cette technique est valable pour une petite quantité de données. Si une grande quantité de données doit être gérée, nous pouvons utiliser Item Pipeline. Tout comme le fichier data.json, un fichier réservé est configuré lorsque le projet est créé danstutorial/pipelines.py.