Description

Un guide complet pour extraire presque tous les types de données du Web moderne avec le langage Python.

Si on peut considérer la programmation comme quelque chose de magique, alors le web scraping s'apparente assurément à de la sorcellerie ! En écrivant un simple programme automatisé en Python, vous pouvez envoyer des requêtes à des serveurs web, y rechercher des données et les analyser pour extraire les informations dont vous avez besoin.

Voici un guide complet pour extraire presque tous les types de données du Web moderne.

La première partie du livre se concentre sur les mécanismes de web scraping : utiliser Python pour demander des informations à un serveur web, effectuer une gestion de base de la réponse du serveur et interagir avec les sites de manière automatisée. La deuxième partie explore une variété d'outils et d'applications plus spécifiques pour s'adapter à tous les scénarios de web scraping que vous êtes susceptible de rencontrer.

Analyser des pages HTML compliquées

Développer des crawlers avec le framework Scrapy

Découvrir des méthodes pour stocker les données que vous récupérez

Lire et extraire des données à partir de documents

Nettoyer et normaliser les données mal formatées

Lire et écrire en langage naturel

Parcourir les formulaires et les identifiants

Scraper JavaScript et explorer les API

Utiliser et écrire un logiciel de conversion d'images en texte

Éviter les pièges et les bloqueurs de bots

Utiliser des " scrapers " pour tester votre site web