Оглавление

Как вы, возможно, уже знаете, в Официальный API Google Places ограничено только 5 отзывами на одно место. Поэтому разработчики рассматривают возможность скраппинга, чтобы иметь возможность получить все отзывы о любом предприятии на Google Maps.

Скраппинг Google со всеми его защитами и динамически отображаемыми страницами может оказаться сложной задачей. К счастью, существует множество инструментов, которые вы можете использовать для скраппинга отзывов на python или любом другом языке программирования. В этой статье вы увидите два наиболее распространенных инструмента для скраппинга отзывов Google: эмуляцию браузера и платформу Outscraper. Каждого из них достаточно, чтобы получить все отзывы с любого объявления на картах.

Скраппинг отзывов Google в Python с использованием браузера для рендеринга динамического контента

Мы будем использовать Селен для управления браузером Chrome. Браузер будет отображать динамические страницы Google Reviews. Чтобы приступить к созданию скрепера отзывов с помощью Selenium, нам понадобится следующее:

  1. Python 3+.
  2. Установлен браузер Chrome.
  3. Selenium 3.141.0+ (пакет python).
  4. Драйвер Chrome (для вашей ОС).
  5. Parsel или любую другую библиотеку для извлечения данных из HTML, например, Beautiful Soup.

Установка Selenium и других пакетов

Установите пакеты Selenium и Parsel, выполнив следующие команды. Мы будем использовать Parsel позже, когда будем разбирать содержимое HTML.

				
					pip install selenium
pip install parsel # to extract data from HTML using XPath or CSS selectors
				
			

Запуск браузера

Перед запуском драйвера убедитесь, что вы выполнили предыдущие шаги и у вас есть путь к файлу chromedriver. Инициализируйте драйвер следующим кодом. У вас должно открыться новое окно браузера.

				
					from selenium import webdriver


chromedrive_path = './chromedriver' # use the path to the driver you downloaded from previous steps
driver = webdriver.Chrome(chromedrive_path)
				
			

На mac вы можете увидеть следующее: "Хромированный драйвер не может быть открыт, потому что разработчик не может быть проверен". Чтобы преодолеть эту проблему, щелкните хромодрайвер в Finder, выберите в меню Open и в появившемся диалоговом окне нажмите Open. В открывшемся окне терминала вы должны увидеть "ChromeDriver был запущен успешно". Закройте его, и после этого вы сможете запускать ChromeDriver из своего кода.

Загрузить страницу Все отзывы

После запуска драйвера вы готовы открыть некоторые страницы. Чтобы открыть любую страницу, используйте команду "get".

				
					url = 'https://www.google.com/maps/place/Central+Park+Zoo/@40.7712318,-73.9674707,15z/data=!3m1!5s0x89c259a1e735d943:0xb63f84c661f84258!4m16!1m8!3m7!1s0x89c258faf553cfad:0x8e9cfc7444d8f876!2sTrump+Tower!8m2!3d40.7624284!4d-73.973794!9m1!1b1!3m6!1s0x89c258f1fcd66869:0x65d72e84d91a3f14!8m2!3d40.767778!4d-73.9718335!9m1!1b1?hl=en&hl=en'
driver.get(url)
				
			

Разбор Отзывы

После открытия страницы вы увидите в окне Chrome страницу, управляемую вашим кодом. Вы можете выполнить следующий код, чтобы получить содержимое HTML-страницы от драйвера.

				
					page_content = driver.page_source
				
			

Чтобы удобно видеть HTML-содержимое, откройте консоль разработчика в Chrome, открыв меню Chrome в правом верхнем углу окна браузера и выбрав More Tools > Developer Tools. Теперь вы должны иметь возможность видеть элементы вашей страницы.

поиск отзывов google в python
Поиск Xpath к отзывам, которые мы хотим получить с помощью Developer Console

Вы можете разобрать содержимое HTML-страницы с помощью ваших любимых инструментов разбора. Мы будем использовать Parsel в этом учебнике.

				
					from parsel import Selector

response = Selector(page_content)
				
			

Итеративно просмотрите отзывы.

				
					results = []

for el in response.xpath('//div/div[@data-review-id]/div[contains(@class, "content")]'):
    results.append({
        'title': el.xpath('.//div[contains(@class, "title")]/span/text()').extract_first(''),
        'rating': el.xpath('.//span[contains(@aria-label, "stars")]/@aria-label').extract_first('').replace('stars' ,'').strip(),
        'body': el.xpath('.//span[contains(@class, "text")]/text()').extract_first(''),
    })
    
print(results)
				
			

Выходные данные Google Reviews Crawler (сокращенные).

				
					[
  {
    'title': 'Wanda Garrett',
    'rating': '5',
    'body': 'Beautiful ✨ park with a family-friendly atmosphere! I had a great time here; seeing all of the animals and learning all of the interesting facts was a fantastic way to spend the day. The zoo is beautifully landscaped and surrounded by …'
  },
  {
    'title': 'Bernadette Bennett',
    'rating': '4',
    'body': 'Worth going for the seals! They are the main attraction and located in the center of the zoo. We watched a live feeding and it was great. The kids loved it. The zoo is well manicured surrounded by gorgeous gardens. Lots of benches to rest …'
  },
  {
    'title': 'Mary Cutrufelli',
    'rating': '3',
    'body': "So not gonna lie... We came from PA. My kid expected to see lions and hippos and zebra from Madagascar. None of that which is there. It's clean it's a nice zoo. I wouldn't go again though."
  },
  ...
]
				
			

Остановить браузер

Важно запускать и останавливать драйвер до и после скрапбукинга соответственно. Это то же самое, что открывать и закрывать браузер до и после работы в Интернете. Остановите браузер, выполнив следующий код.

				
					driver.quit()
				
			

Несмотря на сложную HTML-структуру Google Reviews, с помощью Selenium и хорошего знания XPath и селекторов CSS можно добиться неплохих результатов в скрейпинге. Этот метод использования эмулятора браузера должен защитить вас от блокировки. Однако если вы масштабируете свое приложение, подумайте об использовании прокси-серверов, чтобы избежать непредвиденных проблем.

Многопроцессорная обработка и другие рекомендации

Можно запускать драйверы в многопроцессорном режиме (не многопоточном), но каждый драйвер будет потреблять один процессор. Убедитесь, что у вас их достаточно.

Самый простой способ поиска отзывов Google на Python

Извлечение данных из Google с помощью браузеров имеет свои плюсы и минусы. Хотя вы можете разработать скрепер самостоятельно, при масштабировании это может привести к большим расходам на использование серверов с огромным количеством процессоров для обработки эмуляций браузеров. Кроме того, должен быть человек, который будет поддерживать краулер и обновлять его во время изменений на сайте Google.

Используя Платформа OutscraperAPI, или SDKs, Outscraper предоставляет самое простое решение для предприятий и частных лиц, чтобы начать скраппинг отзывов из Google без использования прокси, эмуляции браузера и инвестиций в разработку.

Поиск отзывов в Python с помощью SDK

1. Вам понадобится python3 + и это пакет python. Установите пакет, выполнив команду.

				
					pip install google-services-api
				
			

2. Получите свой ключ API из Страница профиля.

3. Импортируйте пакет и инициализируйте его с помощью ключа.

4. Укажите местоположение, указав ссылку, идентификатор места или имя.

				
					from outscraper import ApiClient


api_cliet = ApiClient(api_key='KEY_FROM_OUTSCRAPER')
response = api_cliet.google_maps_reviews(
    'https://www.google.com/maps/place/Do+or+Dive+Bar/@40.6867831,-73.9570104,17z/data=!3m2!4b1!5s0x89c25b96a0b10eb9:0xfe4f81ff249e280d!4m5!3m4!1s0x89c25b96a0b30001:0x643d0464b3138078!8m2!3d40.6867791!4d-73.9548217',
    language='en',
    limit=100
)
				
			

5. Подождите несколько секунд, пока не будут получены отзывы.

				
					[
    {
        "name": "Do or Dive Bar",
        "full_address": "1108 Bedford Ave, Brooklyn, NY 11216, United States",
        "borough": "Bedford-Stuyvesant",
        "street": "1108 Bedford Ave",
        "city": "Brooklyn",
        "postal_code": "11216",
        "country_code": "US",
        "country": "United States of America",
        "us_state": "New York",
        "state": "New York",
        "plus_code": null,
        "latitude": 40.686779099999995,
        "longitude": -73.9548217,
        "time_zone": "America/New_York",
        "site": "https://www.doordivebedstuy.com/",
        "phone": "+1 917-867-5309",
        "type": "Bar",
        "rating": 4.5,
        "reviews": 425,
        "reviews_data": [
            {
                "google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
                "autor_link": "https://www.google.com/maps/contrib/115539085325450648866?hl=en-US",
                "autor_name": "Sam Grjaznovs",
                "autor_id": "115539085325450648866",
                "autor_image": "https://lh3.googleusercontent.com/a-/AOh14GgxmEH7a10v6Bo8AFb6OkbyxxfIBPXbMYVAxeSIRA=c0x00000000-cc-rp-ba3",
                "review_text": "Cozy shin dig with an assortment of drinks. They have a strong specialty for 10bucks and merch too. They have out side dining as well as back yard area. Ask for Brandon every other Saturday. He\u2019s hella cute!",
                "review_img_url": "https://lh5.googleusercontent.com/p/AF1QipPNs8QvvdkBonV5wuxdoylFjLY3k7L6muepbDq-",
                "owner_answer": null,
                "owner_answer_timestamp": null,
                "owner_answer_timestamp_datetime_utc": null,
                "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s115539085325450648866!2s0x0:0x643d0464b3138078?hl=en-US",
                "review_rating": 5,
                "review_timestamp": 1603781021,
                "review_datetime_utc": "10/27/2020 06:43:41",
                "review_likes": 0,
                "reviews_id": "7222934207919784056"
            },
            {
                "google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
                "autor_link": "https://www.google.com/maps/contrib/110571545135018844510?hl=en-US",
                "autor_name": "Arabella Stephens",
                "autor_id": "110571545135018844510",
                "autor_image": "https://lh3.googleusercontent.com/a-/AOh14GisqDfheDO0Aq0cu1Z7YBTbzLyvSEvM3IMDKg3q=c0x00000000-cc-rp",
                "review_text": "Great atmosphere, always fun vibe and good beers. I live in the area and this is a very reliable standby. Would recommend to anyone who is not pretentious and likes a bit of clutter in their watering hole.",
                "review_img_url": "https://lh3.googleusercontent.com/a-/AOh14GisqDfheDO0Aq0cu1Z7YBTbzLyvSEvM3IMDKg3q",
                "owner_answer": null,
                "owner_answer_timestamp": null,
                "owner_answer_timestamp_datetime_utc": null,
                "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s110571545135018844510!2s0x0:0x643d0464b3138078?hl=en-US",
                "review_rating": 5,
                "review_timestamp": 1614111762,
                "review_datetime_utc": "02/23/2021 20:22:42",
                "review_likes": 0,
                "reviews_id": "7222934207919784056"
            },
            {
                "google_id": "0x89c25b96a0b30001:0x643d0464b3138078",
                "autor_link": "https://www.google.com/maps/contrib/101725757133547547783?hl=en-US",
                "autor_name": "Jack Parker",
                "autor_id": "101725757133547547783",
                "autor_image": "https://lh3.googleusercontent.com/a-/AOh14GjFK9CLb8__u5PtJzH1rGuX4DVgPvjaEeIkSJnCNw=c0x00000000-cc-rp",
                "review_text": "All the bartenders are rad. Cheap drinks, and a nice backyard. They have space heaters, but I would still recommend bundling up if you plan on spending a while there. Jeopardy night is always fun too. Can\u2019t wait to sit inside again!",
                "review_img_url": "https://lh3.googleusercontent.com/a-/AOh14GjFK9CLb8__u5PtJzH1rGuX4DVgPvjaEeIkSJnCNw",
                "owner_answer": null,
                "owner_answer_timestamp": null,
                "owner_answer_timestamp_datetime_utc": null,
                "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s101725757133547547783!2s0x0:0x643d0464b3138078?hl=en-US",
                "review_rating": 5,
                "review_timestamp": 1611947492,
                "review_datetime_utc": "01/29/2021 19:11:32",
                "review_likes": 0,
                "reviews_id": "7222934207919784056"
            },
            ...
        ]
]
				
			

Пакет Python ► https://pypi.org/project/google-services-api
API ► https://app.outscraper.com/api-docs

Видеоурок

Часто Задаваемые Вопросы

Наиболее частые вопросы и ответы

Благодаря API Google Maps Reviews от Outscraper можно соскабливать все обзоры Google Maps. API-услуги Outscraper позволяют вам осуществлять поиск без каких-либо ограничений.

Существует API-сервис для отзывов на Google Maps. Это Outscraper's Google Maps Reviews API. Благодаря сервису Outscraper вы можете экспортировать и загрузить все отзывы Google Maps.

Обзоры можно соскабливать с помощью Python и Selenium. Подробно об этом рассказывается в статье "Скраппинг всех отзывов Google на Python“.


Влад

Руководитель проекта Linkedin