Оглавление
Извлечение данных из Google Maps на чистом Python
Для сбора данных из Google Maps требуются глубокие знания в области программирования, эмуляции браузеров, прокси-серверов и Решение проблемы reCAPTCHA. Кроме того, вы должны быть готовы к изменениям, которые Google может внести в динамический контент.
Прежде всего, вам нужно будет имитировать поведение реального пользователя с помощью эмуляции браузера. Использование Селен или другие эмуляторы браузеров могут стать хорошим решением.
Во-вторых, если вы хотите обеспечить безопасность вашего офисного/домашнего IP-адреса, вам необходимо использовать прокси. Таким образом, вы можете запрашивать веб-сайты с чужих IP.
Даже с этим набором инструментов, как только вы начнете использовать его, Google может показать вам reCAPTCHA и привязать его к некоторым из ваших IP. Если вы не хотите менять IP при каждом появлении reCAPTCHA, вы можете добавить параметр Решение проблемы reCAPTCHA.
Кроме того, будьте готовы к ситуациям, когда Google может изменить контент. Это можно сделать, проводя ежедневные тесты.
Хотя на внедрение скрейпера может уйти некоторое время, его вполне можно создать и поддерживать.
Если вы все еще раздумываете, стоит ли продолжать выполнять эти работы собственными силами, ознакомьтесь с нашим руководством по создать собственный скрейпер для Google Maps или воспользоваться управляемым сервисом.
Ознакомьтесь с этим пошаговым руководством по сбору данных из Google Maps с помощью Python и Selenium, чтобы узнать больше: Как соскребать карты Google с помощью Python и Selenium.
Извлечение данных из Google Maps с помощью пакета Outscraper для Python
Более простым и надежным способом соскабливания Google Maps будет использование Библиотека Outscraper для Python. Он обеспечивает удобный доступ к API Outscraper из приложений, написанных на языке Python, который позволяет использовать Услуги Outscraper из вашего кода.
Вы можете начать с установки пакет и создать учетную запись на Outscraper.
Установка
Установите SDK Outscraper, выполнив следующую команду (требуется Python 3 или более поздней версии):
pip install outscraper
Инициализация
Инициализируйте клиент Outscraper, импортировав класс и добавив секретный ключ API. Вы можете сгенерировать ключ API на страница профиля.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Примеры использования
Ниже приведены примеры того, как можно получить информацию о местах из Google Maps с помощью поисковых запросов:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Также можно извлечь данные с помощью Place Id:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Попробуйте Outscraper SDK сейчас
SDK Outscraper доступен для того, чтобы вы могли легко делать Google Maps Scraping с помощью Python. Вы можете попробовать его прямо сейчас, воспользовавшись бесплатным уровнем.
Вы можете соскабливать результаты Google Map с помощью Outscraper SDK. Укажите поисковые запросы, язык и другие параметры и отправьте запрос.
pip install outscraper
из аутскрейпер импорт ApiClient клиент = ApiClient(api_key='SECRET_API_KEY')
# Поиск предприятий в определенных местах: результаты = клиент.google_maps_search('рестораны в Бруклине, США', предел=20, язык='en') # Получить данные об определённом месте по идентификатору результаты = клиент.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', язык='en') # Поиск с использованием множества запросов (пакетная обработка) результаты = клиент.google_maps_search([ 'рестораны в Бруклине, США', 'бары, Бруклин, США', ], язык='en')
Скраппинг Google Maps требует хорошего знания кодирования, эмуляции браузера, прокси и Решение проблемы reCAPTCHA. Кроме того, вы должны быть готовы к изменениям, которые Google может внести в динамический контент.
Карты Google запрещают скрапбукинг. Хотя скраппинг и извлечение публичных данных защищены Первой поправкой к Конституции США.
0 Comments