Qu'est-ce que le web scraping avec Python ?

Qu'est-ce que le web scraping avec Python ?

25 janvier 2021 · 1 min. de lecture
quora Quora

Réponse publiée sur Quora

Le Web scraping consiste à extraire automatiquement des informations de sites Web.

La librairie python Beautiful Soup permet de faire ça facilement.

Attention si vous vous amusez à ça : le scraping peut être détecté par le site cible et même considéré comme une attaque. Ajoutez plein de pauses dont chaque durée est aléatoire pour que votre script ressemble le plus possible à un humain et modifiez l’agent HTTP utilisé dans les requêtes en adaptant la recette proposée dans How to scrape a webpage using Beautiful Soup as if using Chrome?

Dr. Goulu
Auteurs
Dr. Goulu (il/lui)
Ingénieur à la retraite, toujours curieux et voyageur
EPFL MS Informatique 1988, PhD automatique 1994, eMBA Management of Technology

comments powered by Disqus