Оглавление
Google Maps Scraping In Pure Python
Scraping Google Maps requires good knowledge of coding, browser emulation, proxies, and a Решение проблемы reCAPTCHA. Кроме того, вы должны быть готовы к изменениям, которые Google может внести в динамический контент.
Прежде всего, вам нужно будет имитировать поведение реального пользователя с помощью эмуляции браузера. Использование Селен или другие эмуляторы браузеров могут стать хорошим решением.
Secondly, if you want to keep your office/home IP safe, you will need to use прокси. Таким образом, вы можете запрашивать веб-сайты с чужих IP.
Даже с этим набором инструментов, как только вы начнете использовать его, Google может показать вам reCAPTCHA и привязать его к некоторым из ваших IP. Если вы не хотите менять IP при каждом появлении reCAPTCHA, вы можете добавить параметр Решение проблемы reCAPTCHA.
Кроме того, будьте готовы к ситуациям, когда Google может изменить контент. Это можно сделать, проводя ежедневные тесты.
Хотя на реализацию скрепера может потребоваться некоторое время, его можно создать и поддерживать. Ознакомьтесь с этим пошаговым руководством о том, как скрапировать Google Maps с помощью Python и Selenium, чтобы узнать больше: Как соскребать карты Google с помощью Python и Selenium.
Google Maps Scraping With Outscraper Python Package
Более простым и надежным способом соскабливания Google Maps будет использование Outscraper python library. Он обеспечивает удобный доступ к API Outscraper from applications written in the Python language, which allows you to use Услуги Outscraper из вашего кода.
Вы можете начать с установки пакет и создать учетную запись на Outscraper.
Установка
Install the Outscraper SDK by running the following command (Python 3+ is required):
pip install outscraper
Инициализация
Инициализируйте клиент Outscraper, импортировав класс и добавив секретный ключ API. Вы можете сгенерировать ключ API на страница профиля.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Примеры использования
Ниже приведены примеры того, как можно получить информацию о местах из Google Maps с помощью поисковых запросов:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Также можно извлечь данные с помощью Place Id:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Попробуйте Outscraper SDK сейчас
SDK Outscraper доступен для того, чтобы вы могли легко делать Google Maps Scraping с помощью Python. Вы можете попробовать его прямо сейчас, воспользовавшись бесплатным уровнем.
Вы можете соскабливать результаты Google Map с помощью Outscraper SDK. Укажите поисковые запросы, язык и другие параметры и отправьте запрос.
pip install outscraper
from outscraper import ApiClient client = ApiClient(api_key='SECRET_API_KEY')
# Поиск предприятий в определенных местах: results = client.google_maps_search('restaurants brooklyn usa', limit=20, language='en') # Get data of the specific place by id results = client.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', language='en') # Search with many queries (batching) results = client.google_maps_search([ 'restaurants brooklyn usa', 'bars brooklyn usa', ], language='en')
Скраппинг Google Maps требует хорошего знания кодирования, эмуляции браузера, прокси и Решение проблемы reCAPTCHA. Кроме того, вы должны быть готовы к изменениям, которые Google может внести в динамический контент.
Карты Google запрещают скрапбукинг. Хотя скраппинг и извлечение публичных данных защищены Первой поправкой к Конституции США.
0 Комментарии