4 способа спарсить отели или другие организации с Google Maps

Почему отели или другие предприятия на Google Maps?

Любой отель извлекает выгоду из того, что его компания размещается на Google Maps с миллионами потенциальных клиентов. Значительная часть данных об отелях поступает от владельцев или менеджеров отелей. Другая часть поставляется восторженными покупателями. Это делает Google Places лучшим источником достоверной информации для отелей и других категорий (например, ресторанов, баров, торговых центров и т. Д.).

Хорошо, у Google это есть, но как я могу получить данные?

Первое, что приходит в голову тем, кто понимает, что такое парсинг, - это очистить данные. Скрипинг, сбор или извлечение карт Google это процесс получения всей информации о местах (название, адрес, координаты, сайт, телефон, время работы и т. д.) с сайта Google Maps. Он автоматизирует ручной экспорт данных и экономит много времени маркетинговым командам.

4 способа спарсить данные Google

Есть несколько способов получить данные в файл CSV / Excel:

• напишите свой сценарий;
• использовать официальный API Google Адресов;
• нанять фрилансера;
• использовать существующие скребки, например Парсер Google Maps.

Первый вариант подойдет, если у вас есть несколько лет опыта работы в области скребка и ресурсы для создания и обслуживания скребка. Будьте готовы обрабатывать защиту Google с помощью эмуляторов браузера / прокси / решателей reCaptcha и т. Д.

Используя официальную API Google Адресов будет хорошим вариантом, но может оказаться дорогостоящим для небольших команд. Более того, поля ограничены, но, к счастью, вы все равно можете получить некоторые основные данные, такие как имена, координаты, адреса и т. Д.

Наем фрилансера может сработать, хотя вам нужно будет поддерживать с ним отношения. Убедитесь, что фрилансер не исчезает после того, как Google обновит свою систему безопасности, и вы захотите исправить программу.

Использование существующего облачного скребка, например Парсер Google Maps будет идеальным вариантом, так как не потребует навыков разработчика и цены намного ниже, чем при использовании официального API. Вы можете получить результаты в файле CSV / excel. Результаты содержат множество полей, включая номера телефонов, адреса электронной почты, ссылки в социальных сетях и т. Д.

Задача спарсить отели со всей страны

Если вы откроете запрос вроде "отели возле Нью-Йорка, Нью-Йорка, США" вы увидите всего около 500 мест для вашего поиска. Поскольку Google Maps ограничивает количество результатов одним поисковым запросом, вы не увидите все отели (если только это город с менее чем 500 отелями).

Таким образом, задача получения всех результатов по стране состоит в том, чтобы создать список запросов, которые будут искать определенные места в некоторых ограниченных областях.

Какие запросы вам нужны, чтобы спарсить отели в США?

Решением будет сочетание различных категорий (отель, семейный отель, роскошный отель и т. Д.), А также локаций, разделенных на небольшие участки (районы, округа и т. Д.), Например:

• Макдональдс, Олбани, Нью-Йорк, США
• Макдональдс, Амхерст, Нью-Йорк, США

Кроме того, вы можете использовать почтовые индексы для создания точных запросов. Такой подход позволит вам использовать только одну бизнес-категорию, например:

• Отели, 04781, CA, US
• Отели, 04783, CA, US
• Отели, 04785, CA, US
• Отели, 04786, CA, US

Категории

Полный список всех категорий из Google Places можно найти здесь. В этом примере мы используем Парсер Google Maps, поэтому нам не нужно объединять категории с местоположениями сейчас. Причем, поскольку мы собираемся использовать почтовые индексы, достаточно будет использовать только одну основную категорию «гостиница»:

Локации

Идеальным местом будет почтовый индекс с названием города и страны. Также отлично подойдет использование небольших городов или районов. Если вы используете Outscraper, нет необходимости искать почтовые индексы или список городов. Просто выберите нужные регионы из раскрывающегося списка. Вы также можете использовать этот файл чтобы получить все местоположения и использовать их в любом другом приложении:

Чтобы указать местоположения вручную, установите флажок «Пользовательские местоположения» и вставьте данные из любой имеющейся у вас таблицы. Убедитесь, что в каждом месте указано название страны. Это поможет парсеру находить места независимо от того, какой IP-адрес он использует:

Расширенные параметры

При использовании Парсер Google Maps вы можете выбрать язык, ограничение на общее количество мест и извлекать ли дополнительные данные с веб-сайтов мест. Не забудьте выбрать регион, чтобы исключить любые другие страны, которые могут появиться в городах с неоднозначными названиями.

Вы также можете использовать «Удалить дубликаты», чтобы игнорировать повторяющиеся элементы внутри одной задачи (одни и те же места из разных запросов):

Запуск задачи парсинга

Когда все будет выглядеть правильно, нажмите кнопку «Очистить данные» и подтвердите несколько запросов, открыв их на Google Maps. Убедитесь, что запросы работают на Google Maps и вы можете видеть местоположения.

Если вы запускаете первое извлечение, вам будет предложено подтвердить учетную запись. Следуйте инструкциям на всплывающей странице и нажмите "Я выполнил действия"после того, как вы подтвердили учетную запись. Когда ваша задача выполняется, вы можете открыть страница задач для отслеживания прогресса:

Полученные результаты

Как только ваша задача будет завершена, вы получите электронное письмо со ссылкой на данные. Файл будет доступен для загрузки в течение 30 дней. Вы также можете скачать результаты из страница задач. Файл результатов содержит следующие поля:

• имя
• сайт
• тип
• подтипы
• Телефон
• полный адрес
• район
• улица
• город
• Почтовый Код
• штат
• us_state
• страна
• код страны
• широта
• долгота
• часовой пояс
• plus_code
• рейтинг
• отзывы
• reviews_link
• reviews_per_score
• photos_count
• Фото
• рабочие часы
• working_hours_old_format
• business_status
• о
• диапазон
• сообщения
• проверено
• owner_id
• owner_title
• owner_link
• reserving_table_link
• booking_appointment_link
• location_link
• place_id
• google_id
• reviews_id
• Эл. адрес
• email2
• твиттер
• linkedin
• facebook
• instagram
• Гугл плюс
• скайп
• телеграмма
• site_generator
• Название сайта
• описание сайта
• site_keywords

Видеоурок о том, как парсить Google Карты с помощью облачного приложения Outscraper