Inhoudsopgave
Google Maps scrapen in pure Python
Het scrapen van Google Maps vereist goede kennis van codering, browseremulatie, proxy's en een reCAPTCHA oplosser. Bovendien moet u ook klaar zijn voor de wijzigingen die Google kan aanbrengen in zijn dynamische inhoud.
Allereerst moet je het gedrag van de echte gebruiker nabootsen door browseremulatie te gebruiken. gebruiken Selenium of andere browseremulators kunnen een goede oplossing zijn.
Ten tweede, als je het IP-adres van je kantoor/thuis veilig wilt houden, moet je het volgende gebruiken volmachten. Je kunt dus websites opvragen vanaf IP's van andere mensen.
Zelfs met die set tools, als je eenmaal een goed gebruik hebt, kan Google je reCAPTCHA laten zien en het binden aan een aantal van je IP's. Als je niet elke keer van IP wilt veranderen als je een reCAPTCHA ziet, kun je een reCAPTCHA oplosser.
Wees daarnaast voorbereid op situaties waarin Google zijn inhoud zou kunnen wijzigen. Je kunt dit doen door dagelijks tests uit te voeren.
Hoewel het wat tijd kan kosten om de scraper te implementeren, kan hij gebouwd en onderhouden worden. Bekijk deze stap-voor-stap tutorial over het scrapen van Google Maps met Python en Selenium voor meer informatie: Hoe Google Maps te scrapen met Python en Selenium.
Google Maps scrapen met Outscraper Python-pakket
Een eenvoudigere en betrouwbaardere manier om Google Maps te schrapen is door gebruik te maken van de Outscraper python-bibliotheek. Het biedt gemakkelijke toegang tot de Outscraper API van toepassingen die geschreven zijn in de taal Python, waarmee je Outscraper's diensten van je code.
U kunt beginnen met het installeren van het pakket en een account aanmaken bij Outscraper.
Installatie
Installeer de Outscraper SDK door het volgende commando uit te voeren (Python 3+ is vereist):
pip install outscraper
Initialisatie
Initialiseer de Outscraper client door de klasse te importeren en je geheime API sleutel toe te voegen. Je kunt de API sleutel genereren op de profielpagina.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Gebruiksvoorbeelden
Hier zijn voorbeelden van hoe u plaatsen uit Google Maps kunt scrapen met behulp van zoekopdrachten:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Het is ook mogelijk de gegevens te extraheren met behulp van de plaats-id:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Probeer nu Outscraper SDK
De Outscraper SDK is beschikbaar voor u om eenvoudig Google Maps Scraping te doen met Python. Je kunt het nu proberen met een Free Tier.
U kunt Google Map resultaten scrapen door het gebruik van Outscraper SDK. Geef zoekopdrachten, taal en andere parameters, en stuur uw verzoek.
pip installeert outscraper
van wolkenkrabber importeer ApiClient klant = ApiClient(api_sleutel="GEHEIME_API_SLEUTEL)
# Zoek naar bedrijven op specifieke locaties: resultaten = klant.google_kaarten_zoeken(restaurants brooklyn usa, begrenzen=20, taal=en) # Verkrijg gegevens van de specifieke plaats op id resultaten = klant.google_kaarten_zoeken("ChIJrc9T9fpYwokRdvjYRHT8nI4, taal=en) # Zoeken met veel zoekopdrachten (batching) resultaten = klant.google_kaarten_zoeken([ restaurants brooklyn usa, bars brooklyn usa, ], taal=en)
Het scrapen van Google Maps vereist goede kennis van codering, browser emulatie, proxies, en reCAPTCHA oplosser. Bovendien moet u ook klaar zijn voor de wijzigingen die Google kan aanbrengen in zijn dynamische inhoud.
Google Maps verbiedt scraping. Hoewel het schrapen en extraheren van openbare gegevens wordt beschermd door het Eerste Amendement van de Grondwet van de Verenigde Staten.
0 Opmerkingen