Оглавление
Как вы, возможно, уже знаете, в Официальный API Google Places ограничено только 5 отзывами на одно место. Поэтому разработчики рассматривают возможность скраппинга, чтобы иметь возможность получить все отзывы о любом предприятии на Google Maps.
Скраппинг Google со всеми его защитами и динамически отображаемыми страницами может оказаться сложной задачей. К счастью, существует множество инструментов, которые вы можете использовать для скраппинга отзывов на python или любом другом языке программирования. В этой статье вы увидите два наиболее распространенных инструмента для скраппинга отзывов Google: эмуляцию браузера и платформу Outscraper. Каждого из них достаточно, чтобы получить все отзывы с любого объявления на картах.
Скраппинг отзывов Google в Python с использованием браузера для рендеринга динамического контента
Мы будем использовать Селен для управления браузером Chrome. Браузер будет отображать динамические страницы Google Reviews. Чтобы приступить к созданию скрепера отзывов с помощью Selenium, нам понадобится следующее:
- Python 3+.
- Установлен браузер Chrome.
- Selenium 3.141.0+ (пакет python).
- Драйвер Chrome (для вашей ОС).
- Parsel или любую другую библиотеку для извлечения данных из HTML, например, Beautiful Soup.
Установка Selenium и других пакетов
Установите пакеты Selenium и Parsel, выполнив следующие команды. Мы будем использовать Parsel позже, когда будем разбирать содержимое HTML.
pip install selenium
pip install parsel # to extract data from HTML using XPath or CSS selectors
Запуск браузера
Перед запуском драйвера убедитесь, что вы выполнили предыдущие шаги и у вас есть путь к файлу chromedriver. Инициализируйте драйвер следующим кодом. У вас должно открыться новое окно браузера.
from selenium import webdriver
chromedrive_path = './chromedriver' # use the path to the driver you downloaded from previous steps
driver = webdriver.Chrome(chromedrive_path)
На mac вы можете увидеть следующее: "Хромированный драйвер не может быть открыт, потому что разработчик не может быть проверен". Чтобы преодолеть эту проблему, щелкните хромодрайвер в Finder, выберите в меню Open и в появившемся диалоговом окне нажмите Open. В открывшемся окне терминала вы должны увидеть "ChromeDriver был запущен успешно". Закройте его, и после этого вы сможете запускать ChromeDriver из своего кода.
Загрузить страницу Все отзывы
После запуска драйвера вы готовы открыть некоторые страницы. Чтобы открыть любую страницу, используйте команду "get".
url = 'https://www.google.com/maps/place/Central+Park+Zoo/@40.7712318,-73.9674707,15z/data=!3m1!5s0x89c259a1e735d943:0xb63f84c661f84258!4m16!1m8!3m7!1s0x89c258faf553cfad:0x8e9cfc7444d8f876!2sTrump+Tower!8m2!3d40.7624284!4d-73.973794!9m1!1b1!3m6!1s0x89c258f1fcd66869:0x65d72e84d91a3f14!8m2!3d40.767778!4d-73.9718335!9m1!1b1?hl=en&hl=en'
driver.get(url)
Разбор Отзывы
После открытия страницы вы увидите в окне Chrome страницу, управляемую вашим кодом. Вы можете выполнить следующий код, чтобы получить содержимое HTML-страницы от драйвера.
page_content = driver.page_source
Чтобы удобно видеть HTML-содержимое, откройте консоль разработчика в Chrome, открыв меню Chrome в правом верхнем углу окна браузера и выбрав More Tools > Developer Tools. Теперь вы должны иметь возможность видеть элементы вашей страницы.
Вы можете разобрать содержимое HTML-страницы с помощью ваших любимых инструментов разбора. Мы будем использовать Parsel в этом учебнике.
from parsel import Selector
response = Selector(page_content)
Итеративно просмотрите отзывы.
results = []
for el in response.xpath('//div/div[@data-review-id]/div[contains(@class, "content")]'):
results.append({
'title': el.xpath('.//div[contains(@class, "title")]/span/text()').extract_first(''),
'rating': el.xpath('.//span[contains(@aria-label, "stars")]/@aria-label').extract_first('').replace('stars' ,'').strip(),
'body': el.xpath('.//span[contains(@class, "text")]/text()').extract_first(''),
})
print(results)
Выходные данные Google Reviews Crawler (сокращенные).
[
{
'title': 'Wanda Garrett',
'rating': '5',
'body': 'Beautiful ✨ park with a family-friendly atmosphere! I had a great time here; seeing all of the animals and learning all of the interesting facts was a fantastic way to spend the day. The zoo is beautifully landscaped and surrounded by …'
},
{
'title': 'Bernadette Bennett',
'rating': '4',
'body': 'Worth going for the seals! They are the main attraction and located in the center of the zoo. We watched a live feeding and it was great. The kids loved it. The zoo is well manicured surrounded by gorgeous gardens. Lots of benches to rest …'
},
{
'title': 'Mary Cutrufelli',
'rating': '3',
'body': "So not gonna lie... We came from PA. My kid expected to see lions and hippos and zebra from Madagascar. None of that which is there. It's clean it's a nice zoo. I wouldn't go again though."
},
...
]
Остановить браузер
Важно запускать и останавливать драйвер до и после скрапбукинга соответственно. Это то же самое, что открывать и закрывать браузер до и после работы в Интернете. Остановите браузер, выполнив следующий код.
driver.quit()
Несмотря на сложную HTML-структуру Google Reviews, с помощью Selenium и хорошего знания XPath и селекторов CSS можно добиться неплохих результатов в скрейпинге. Этот метод использования эмулятора браузера должен защитить вас от блокировки. Однако если вы масштабируете свое приложение, подумайте об использовании прокси-серверов, чтобы избежать непредвиденных проблем.
Многопроцессорная обработка и другие рекомендации
Можно запускать драйверы в многопроцессорном режиме (не многопоточном), но каждый драйвер будет потреблять один процессор. Убедитесь, что у вас их достаточно.
Самый простой способ поиска отзывов Google на Python
Извлечение данных из Google с помощью браузеров имеет свои плюсы и минусы. Хотя вы можете разработать скрепер самостоятельно, при масштабировании это может привести к большим расходам на использование серверов с огромным количеством процессоров для обработки эмуляций браузеров. Кроме того, должен быть человек, который будет поддерживать краулер и обновлять его во время изменений на сайте Google.
Используя Платформа Outscraper, API, или SDKs, Outscraper предоставляет самое простое решение для предприятий и частных лиц, чтобы начать скраппинг отзывов из Google без использования прокси, эмуляции браузера и инвестиций в разработку.
Поиск отзывов в Python с помощью SDK
1. Вам понадобится python3 + и это пакет python. Установите пакет, выполнив команду.
pip install google-services-api
2. Получите свой ключ API из Страница профиля.
3. Импортируйте пакет и инициализируйте его с помощью ключа.
4. Укажите местоположение, указав ссылку, идентификатор места или имя.
from outscraper import ApiClient
api_cliet = ApiClient(api_key='KEY_FROM_OUTSCRAPER')
response = api_cliet.google_maps_reviews(
'https://www.google.com/maps/place/Do+or+Dive+Bar/@40.6867831,-73.9570104,17z/data=!3m2!4b1!5s0x89c25b96a0b10eb9:0xfe4f81ff249e280d!4m5!3m4!1s0x89c25b96a0b30001:0x643d0464b3138078!8m2!3d40.6867791!4d-73.9548217',
language='en',
limit=100
)
5. Подождите несколько секунд, пока не будут получены отзывы.
[
{
"name": "Do or Dive Bar",
"full_address": "1108 Bedford Ave, Brooklyn, NY 11216, United States",
"borough": "Bedford-Stuyvesant",
"street": "1108 Bedford Ave",
"city": "Brooklyn",
"postal_code": "11216",
"country_code": "US",
"country": "United States of America",
"us_state": "New York",
"state": "New York",
"plus_code": null,
"latitude": 40.686779099999995,
"longitude": -73.9548217,
"time_zone": "America/New_York",
"site": "https://www.doordivebedstuy.com/",
"phone": "+1 917-867-5309",
"type": "Bar",
"rating": 4.5,
"reviews": 425,
"reviews_data": [
{
"google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
"autor_link": "https://www.google.com/maps/contrib/115539085325450648866?hl=en-US",
"autor_name": "Sam Grjaznovs",
"autor_id": "115539085325450648866",
"autor_image": "https://lh3.googleusercontent.com/a-/AOh14GgxmEH7a10v6Bo8AFb6OkbyxxfIBPXbMYVAxeSIRA=c0x00000000-cc-rp-ba3",
"review_text": "Cozy shin dig with an assortment of drinks. They have a strong specialty for 10bucks and merch too. They have out side dining as well as back yard area. Ask for Brandon every other Saturday. He\u2019s hella cute!",
"review_img_url": "https://lh5.googleusercontent.com/p/AF1QipPNs8QvvdkBonV5wuxdoylFjLY3k7L6muepbDq-",
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s115539085325450648866!2s0x0:0x643d0464b3138078?hl=en-US",
"review_rating": 5,
"review_timestamp": 1603781021,
"review_datetime_utc": "10/27/2020 06:43:41",
"review_likes": 0,
"reviews_id": "7222934207919784056"
},
{
"google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
"autor_link": "https://www.google.com/maps/contrib/110571545135018844510?hl=en-US",
"autor_name": "Arabella Stephens",
"autor_id": "110571545135018844510",
"autor_image": "https://lh3.googleusercontent.com/a-/AOh14GisqDfheDO0Aq0cu1Z7YBTbzLyvSEvM3IMDKg3q=c0x00000000-cc-rp",
"review_text": "Great atmosphere, always fun vibe and good beers. I live in the area and this is a very reliable standby. Would recommend to anyone who is not pretentious and likes a bit of clutter in their watering hole.",
"review_img_url": "https://lh3.googleusercontent.com/a-/AOh14GisqDfheDO0Aq0cu1Z7YBTbzLyvSEvM3IMDKg3q",
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s110571545135018844510!2s0x0:0x643d0464b3138078?hl=en-US",
"review_rating": 5,
"review_timestamp": 1614111762,
"review_datetime_utc": "02/23/2021 20:22:42",
"review_likes": 0,
"reviews_id": "7222934207919784056"
},
{
"google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
"autor_link": "https://www.google.com/maps/contrib/101725757133547547783?hl=en-US",
"autor_name": "Jack Parker",
"autor_id": "101725757133547547783",
"autor_image": "https://lh3.googleusercontent.com/a-/AOh14GjFK9CLb8__u5PtJzH1rGuX4DVgPvjaEeIkSJnCNw=c0x00000000-cc-rp",
"review_text": "All the bartenders are rad. Cheap drinks, and a nice backyard. They have space heaters, but I would still recommend bundling up if you plan on spending a while there. Jeopardy night is always fun too. Can\u2019t wait to sit inside again!",
"review_img_url": "https://lh3.googleusercontent.com/a-/AOh14GjFK9CLb8__u5PtJzH1rGuX4DVgPvjaEeIkSJnCNw",
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s101725757133547547783!2s0x0:0x643d0464b3138078?hl=en-US",
"review_rating": 5,
"review_timestamp": 1611947492,
"review_datetime_utc": "01/29/2021 19:11:32",
"review_likes": 0,
"reviews_id": "7222934207919784056"
},
...
]
]
Пакет Python ► https://pypi.org/project/google-services-api
API ► https://app.outscraper.com/api-docs
Видеоурок
Часто Задаваемые Вопросы
Наиболее частые вопросы и ответы
Благодаря API Google Maps Reviews от Outscraper можно соскабливать все обзоры Google Maps. API-услуги Outscraper позволяют вам осуществлять поиск без каких-либо ограничений.
Существует API-сервис для отзывов на Google Maps. Это Outscraper's Google Maps Reviews API. Благодаря сервису Outscraper вы можете экспортировать и загрузить все отзывы Google Maps.
Обзоры можно соскабливать с помощью Python и Selenium. Подробно об этом рассказывается в статье "Скраппинг всех отзывов Google на Python“.