Indice
Google Maps Scraping In Pure Python
Lo scraping di Google Maps richiede una buona conoscenza della codifica, dell'emulazione del browser, dei proxy e della risolutore di reCAPTCHA. Inoltre, dovreste essere pronti ad affrontare le modifiche che Google potrebbe apportare ai contenuti dinamici.
First of all, you will need to mimic the real user’s behavior by using browser emulation. Using Selenio or other browser emulators might be a good solution.
Secondly, if you want to keep your office/home IP safe, you will need to use deleghe. So you can request websites from other people’s IPs.
Even with that set of tools, once you have some good usage, Google might show you reCAPTCHA and bind it to some of your IPs. If you do not want to change IPs every time you see a reCAPTCHA, you can add a risolutore di reCAPTCHA.
Additionally, be prepared for situations when Google might change its content. You can do it by running daily tests.
Although it might take some time to implement the scraper, it can be built and maintained. Check out this step-by-step tutorial on how to scrape Google Maps using Python and Selenium to learn more: How to Scrape Google Maps with Python and Selenium.
Google Maps Scraping With Outscraper Python Package
A more simple and reliable way of scraping Google Maps will be using the Outscraper python library. Fornisce un comodo accesso alla API di Outscraper from applications written in the Python language, which allows you to use Servizi di Outscraper dal codice.
Si può iniziare installando il pacchetto e creare un account su Outscraper.
Installazione
Install the Outscraper SDK by running the following command (Python 3+ is required):
pip install outscraper
Inizializzazione
Inizializzare il client Outscraper importando la classe e aggiungendo la chiave API segreta. È possibile generare la chiave API su la pagina del profilo.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Esempi di utilizzo
Ecco alcuni esempi di come è possibile effettuare lo scraping di luoghi da Google Maps utilizzando le query di ricerca:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
È anche possibile estrarre i dati utilizzando l'Id del luogo:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Provate subito l'SDK Outscraper
The Outscraper SDK is available for you to easily do Google Maps Scraping with Python. You can try it right now with a Free Tier.
È possibile effettuare lo scraping dei risultati di Google Map utilizzando l'SDK Outscraper. Specificare le query di ricerca, la lingua e altri parametri e inviare la richiesta.
pip install outscraper
from outscraper import ApiClient client = ApiClient(api_key='SECRET_API_KEY')
# Search for businesses in specific locations: results = client.google_maps_search('restaurants brooklyn usa', limit=20, language='en') # Get data of the specific place by id results = client.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', language='en') # Search with many queries (batching) results = client.google_maps_search([ 'restaurants brooklyn usa', 'bars brooklyn usa', ], language='en')
Lo scraping di Google Maps richiede una buona conoscenza della codifica, dell'emulazione del browser, dei proxy e della risolutore di reCAPTCHA. Inoltre, dovreste essere pronti ad affrontare le modifiche che Google potrebbe apportare ai contenuti dinamici.
Google Maps non consente lo scraping. Tuttavia, lo scraping e l'estrazione di dati pubblici sono protetti dal Primo Emendamento della Costituzione degli Stati Uniti.
0 Comments