Table des matières
Google Maps Scraping en Python pur
Scraping Google Maps requires good knowledge of coding, browser emulation, proxies, and a Solveur de reCAPTCHA. En outre, vous devez également être prêt à faire face aux modifications que Google pourrait apporter à son contenu dynamique.
Tout d'abord, vous devrez imiter le comportement de l'utilisateur réel en utilisant l'émulation de navigateur. En utilisant Sélénium ou d'autres émulateurs de navigateur peuvent être une bonne solution.
Deuxièmement, si vous souhaitez sécuriser l'adresse IP de votre bureau ou de votre domicile, vous devez utiliser les services suivants Proxies. Vous pouvez donc demander des sites web à partir des adresses IP d'autres personnes.
Même avec cet ensemble d'outils, une fois que vous avez une bonne utilisation, Google peut vous montrer un reCAPTCHA et le lier à certaines de vos IP. Si vous ne voulez pas changer d'IP à chaque fois que vous voyez un reCAPTCHA, vous pouvez ajouter un fichier Solveur de reCAPTCHA.
En outre, préparez-vous à des situations où Google pourrait modifier son contenu. Vous pouvez le faire en effectuant des tests quotidiens.
Bien que la mise en œuvre du scraper puisse prendre un certain temps, il est possible de le construire et de le maintenir. Pour en savoir plus, consultez ce tutoriel étape par étape sur la manière de récupérer Google Maps à l'aide de Python et de Selenium : How to Scrape Google Maps with Python and Selenium.
Google Maps Scraping avec le package Python Outscraper
Un moyen plus simple et plus fiable de récupérer les cartes de Google Maps consiste à utiliser la fonction Outscraper bibliothèque python. Il offre un accès pratique à la API d'Outscraper à partir d'applications écrites en langage Python, ce qui permet d'utiliser la technologie Les services de Outscraper de votre code.
Vous pouvez commencer par installer le paquet et en créant un compte sur Outscraper.
Installation
Installez le SDK Outscraper en exécutant la commande suivante (Python 3+ est requis) :
pip install outscraper
Initialisation
Initialisez le client Outscraper en important la classe et en ajoutant votre clé API secrète. Vous pouvez générer la clé API sur la page de profil.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Exemples d'utilisation
Voici des exemples de la façon dont vous pouvez extraire des lieux de Google Maps en utilisant des requêtes de recherche :
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Il est également possible d'extraire les données en utilisant Place Id :
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Essayez Outscraper SDK maintenant
Le SDK Outscraper est disponible pour vous permettre de faire facilement du Google Maps Scraping avec Python. Vous pouvez l'essayer dès maintenant avec un niveau gratuit.
Vous pouvez récupérer les résultats de Google Map en utilisant Outscraper SDK. Spécifiez les requêtes de recherche, la langue et d'autres paramètres, puis envoyez votre demande.
pip install outscraper
de outscraper l'importation ApiClient client = ApiClient(clé_api='SECRET_API_KEY')
# Recherche d'entreprises dans des lieux spécifiques : résultats = client.google_maps_search(restaurants brooklyn usa, limite=20, langue='en') # Obtenir les données d'un lieu spécifique par identifiant résultats = client.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', langue='en') # Recherche avec plusieurs requêtes (batching) résultats = client.google_maps_search([ restaurants brooklyn usa, bars brooklyn usa, ], langue='en')
L'exploration de Google Maps nécessite une bonne connaissance du codage, de l'émulation de navigateur, des proxies et de l'utilisation de l'Internet. Solveur de reCAPTCHA. En outre, vous devez également être prêt à faire face aux modifications que Google pourrait apporter à son contenu dynamique.
Google Maps interdit le scraping. Cependant, le grattage et l'extraction de données publiques sont protégés par le premier amendement de la Constitution des États-Unis.
0 Commentaire