Часто задаваемые вопросы

Общий

Парсинг, сбор или извлечение - это процесс получения всей информации с какого-либо общедоступного сайта. Он автоматизирует ручной экспорт данных.
Сбор и извлечение общедоступных данных защищены Первой поправкой к Конституции США. Апелляционный суд девятого округа постановил, что автоматический сбор общедоступных данных не нарушает Закон о компьютерном мошенничестве и злоупотреблениях (CFAA). Тем не менее, вам следует обратиться за консультацией к адвокату по вашему конкретному вопросу, чтобы соблюсти законы вашей юрисдикции.
Проверить Документация API или посетите GitHub страницу, чтобы получить представление о том, как вы можете интегрировать сервисы с вашим кодом. Проверьте блог.
Мы извлекаем только общедоступные данные, и скрепер работает как браузер для исследователей данных, разработчиков и маркетологов. Механизм, гарантирующий отсутствие PII в данных, заключается в выборе столбцов, которые вы хотите вернуть.

Платежи и подписки

Счет будет создан на основе использования услуги в течение выставление счетов период (30 дней). Цены указаны на страница.
Уровень бесплатного пользования - это объем использования, который вы можете использовать бесплатно каждый месяц. Например, у некоторого продукта X есть уровень бесплатного пользования с 500 запросами в месяц. Это означает, что любое использование продукта ниже 500 запросов в течение месяца будет бесплатным.
Когда подписка будет завершена, вы получите счет за использование услуги в период подписки. Если вы не можете произвести оплату в течение 3 дней, система попытается списать с вас средства автоматически.
Как только вы начнете пользоваться, вы сможете увидеть предстоящий счет на странице страница профиля. Как только вы определите сумму к оплате, вы можете сформировать счет вручную, нажав "Generate Invoice", или он будет сформирован автоматически в течение 30 дней.
После добавления кредитов на ваш счет (вариант предоплаты) вы получите квитанцию о транзакции по электронной почте. Счета-фактуры с использованием конкретных услуг будут генерироваться после каждого расчетного периода (30 дней). Кроме того, как только вы получите сумму к оплате, вы можете сгенерировать счет вручную, нажав кнопку "Сгенерировать счет" на странице страница профиля.

No. The task will be finished and if the task usage will be greater than your account credits you simply will receive an invoice with the outstanding usage.

You can use limits to limit the amount of extracted data.

API

The limit of queries per second (QPS) depends on the nature of the requests (service, the limit of results, etc.). The average QPS is about 20. Связаться с нами in case you need even more.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.

Navigate to the API Usage History page to see your latest requests.

Перейдите в раздел страница профиля->API token to create a new key.

The average response time is 3-5 seconds. But it might depend on the service (speed optimized or no) type and the number of queries per request (batch option).

Парсер Google Maps

Иногда Google добавляет другие категории к вашим поисковым запросам. Например, при поиске рестораны вы можете увидеть бары, кофе магазины, или даже отели. Это может привести к получению нерелевантных данных, особенно если вы используете некоторые незначительные категории, такие как бассейны.

Outscraper предоставляет вам два инструмента, которые вы можете использовать для удаления этих категорий.

  1. Категория достопримечательностей на Google Maps

    Используйте "точное совпадение". Параметр определяет, возвращать ли только выбранные категории или все, что показывает Google. Убедитесь, что вы используете правильные категории, открыв похожие места в Google и проверив категорию.

  2. Фильтрация результатов

    Фильтруйте результаты, применяя Фильтры в столбец подтипов. Такие фильтры могут отсеять все не относящиеся к делу данные и вернуть вам только то, что вам нужно. Чтобы избежать пустых результатов, перед использованием фильтров убедитесь, что вы знакомы со значениями полей.

Бывают случаи, когда предопределенных местоположений и / или категорий недостаточно. Используйте параметры «Пользовательские местоположения» и / или «Пользовательские категории», чтобы вставить нужные категории и / или местоположения.
Есть ограничение Google Maps, которое показывает только до 400-500 мест за один поисковый запрос. Это может быть проблемой, когда в одной категории больше компаний. Например, для запроса «Рестораны, Бруклин». Для решения этой проблемы мы предлагаем разделить местоположение на подместоположения. Например, с помощью почтовых индексов: "Рестораны, Бруклин 11203", "Рестораны, Бруклин 11211", ”Рестораны, Бруклин 11215, ... Или использование запросов с подкатегориями: «Азиатские рестораны, Бруклин», «Итальянские рестораны, Бруклин», «Мексиканские рестораны, Бруклин», …
Установите флажок «Использовать запросы» и введите запросы.
Чтобы заставить Google искать только определенные компании, заключите термин в кавычки "". В ” “ Оператор обычно используется вокруг стоп-слов (слов, которые в противном случае Google проигнорировал бы) или когда вы хотите, чтобы Google возвращал только те страницы, которые точно соответствуют вашим условиям поиска.
После нажатия кнопки «Извлечь данные…» вы увидите оценку задачи и запросы. Рекомендуется нажать и открыть несколько запросов, чтобы проверить, как это выглядит на сайте Google Maps.
Для контроля ожидаемого количества результатов следует придерживаться двух правил. 1. Количество организаций на количество запросов - лимит организаций, которые можно взять из одного запроса. 2. Количество запросов - количество поисковых запросов, которые вы собираетесь сделать. Бот сделает 6 запросов для извлечения данных из 2 категорий и 3 мест. Следовательно, итоговая сумма будет не более 480 организаций (лимит 80 * 6 запросов).

Вы можете удалить дубликаты в одном задании, установив флажок "Убрать дубликаты".

Yes, you can drop duplicates inside one task by using the “Drop duplicates” checkbox (advanced parameters). Alternatively, you can drop it by yourself by using “google_id” or “place_id” fields as unique identifiers for a place.

Точное количество результатов будет известно только после извлечения. Вы можете использовать "Total places limit", чтобы ограничить конечное количество извлеченных результатов.
Да. Вы можете использовать следующую ссылку в качестве запроса "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", где можно указать запрос (real+estate+agency), координаты (41.4034,2.1718413) и уровень масштабирования (17z). Вы можете найти эти значения при посещении Google Maps. Также вы можете использовать параметр "координаты", если вы используете API.
Да. Вы можете использовать Скребок писем и контактов вместе со скрепером Google Maps для обогащения данных от Google. Для этого выберите "Emails & Contacts Scraper" в разделе "Enrich by other services" на странице Страница Google Maps Scraper.
Вы будете платить только за результаты, которые вы извлекли, независимо от количества запросов.
Нет. В открытом доступе нет информации об электронных письмах, связанных с листингом на Google Maps. Outscraper использует внешние сайты для поиска таких электронных адресов.
Да. Вы можете использовать фильтры из расширенных параметров со следующим оператором.

Блог

Связаться с Нами

Вопросы, особые потребности, проблемы ... Всегда рады вас слышать.