Часто задаваемые вопросы

Общий

Парсинг, сбор или извлечение - это процесс получения всей информации с какого-либо общедоступного сайта. Он автоматизирует ручной экспорт данных.
Сбор и извлечение общедоступных данных защищены Первой поправкой к Конституции США. Апелляционный суд девятого округа постановил, что автоматический сбор общедоступных данных не нарушает Закон о компьютерном мошенничестве и злоупотреблениях (CFAA). Тем не менее, вам следует обратиться за консультацией к адвокату по вашему конкретному вопросу, чтобы соблюсти законы вашей юрисдикции.
Проверить Документация API или посетите GitHub страницу, чтобы получить представление о том, как вы можете интегрировать сервисы с вашим кодом. Проверьте блог.
Вы можете отключить уведомления на страница профиля.
Мы извлекаем только общедоступные данные, и скрепер работает как браузер для исследователей данных, разработчиков и маркетологов. Механизм, гарантирующий отсутствие PII в данных, заключается в выборе столбцов, которые вы хотите вернуть.

Платежи и подписки

Счет будет создан на основе использования услуги в течение выставление счетов период (30 дней). Цены указаны на страница.
Уровень бесплатного пользования - это объем использования, который вы можете использовать бесплатно каждый месяц. Например, у некоторого продукта X есть уровень бесплатного пользования с 500 запросами в месяц. Это означает, что любое использование продукта ниже 500 запросов в течение месяца будет бесплатным.
Когда подписка будет завершена, вы получите счет за использование услуги в период подписки. Если вы не можете произвести оплату в течение 3 дней, система попытается списать с вас средства автоматически.
Как только вы начнете пользоваться, вы сможете увидеть предстоящий счет на странице страница профиля. Как только вы определите сумму к оплате, вы можете сформировать счет вручную, нажав "Generate Invoice", или он будет сформирован автоматически в течение 30 дней.
После добавления кредитов на ваш счет (вариант предоплаты) вы получите квитанцию о транзакции по электронной почте. Счета-фактуры с использованием конкретных услуг будут генерироваться после каждого расчетного периода (30 дней). Кроме того, как только вы получите сумму к оплате, вы можете сгенерировать счет вручную, нажав кнопку "Сгенерировать счет" на странице страница профиля.

Да. Outscraper снимет с вашего счета остаток за $10 и выставит дополнительный счет с причитающейся суммой.

Да.

Нет. Задание будет завершено, и если использование задания превысит кредиты вашего счета, вы просто получите счет-фактуру с неоплаченным использованием.

Вы можете использовать лимиты, чтобы ограничить объем извлекаемых данных.

  1. Открытым Платформа Outscraper.
  2. Перейдите в раздел Billing Information page.
  3. Enter the necessary billing information you want to see in your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

API

Предельное количество запросов в секунду зависит от характера запросов, сервиса и параметров запроса (количество результатов, количество запросов и т.д.). В среднем QPS составляет около 20 (мягкий предел). Однако Outscraper может масштабироваться в соответствии с вашими потребностями. Пожалуйста, связаться с командой в случае, если вам нужен более высокий QPS.

Да. API поддерживает пакетную отправку массивов, содержащих до 25 запросы (например, query=text1&query=text2&query=text3). Это позволяет отправлять несколько запросов в одном запросе и экономить время задержки в сети.

Перейдите в раздел Страница истории использования API чтобы увидеть ваши последние запросы.

Перейдите в раздел страница профиля->API-токен для создания нового ключа.

Среднее время ответа составляет 3-5 секунд. Но оно может зависеть от типа услуги (оптимизированная скорость или нет) и количества запросов в одном запросе (пакетный вариант).

Есть несколько ключевых моментов, которые следует соблюдать для увеличения пропускной способности API.

  1. Убедитесь, что вы используете последние версии конечных точек API. Например, предпочтительнее использовать Places API V2  вместо API мест V1. В случае использования SDK по умолчанию будет использоваться последняя версия API (например. google_maps_search()).
  2. Используйте пакетную обработку для отправки до 25 запросов в одном запросе (например, query=text1&query=text2&query=text3). Это позволяет отправлять несколько запросов в одном запросе и экономить время задержки в сети.
  3. Выполняйте запросы параллельно. Проверьте этот пример.
  4. Используйте вебхук для получения результатов, как только они будут готовы.

Некоторые задачи могут потребовать времени для извлечения данных. Существует несколько способов обработки тайм-аутов.

  1. Используйте повторные запросы. Ожидайте, что некоторое количество запросов на скрапбукинг может привести к ошибке или тайм-ауту. Обычно повторная попытка решает проблему.
  2. Используйте асинхронные запросы. Хорошей практикой является отправка async-запросов и начало проверки результатов по истечении расчетного времени выполнения. Проверить это В качестве примера можно привести реализацию Python.
  3. Используйте вебхук для получения результатов, как только они будут готовы.

Парсер Google Maps

Иногда Google добавляет другие категории к вашим поисковым запросам. Например, при поиске рестораны вы можете увидеть бары, кофе магазины, или даже отели. Это может привести к получению нерелевантных данных, особенно если вы используете некоторые незначительные категории, такие как бассейны.

Outscraper предоставляет вам два инструмента, которые вы можете использовать для удаления этих категорий.

  1. Категория достопримечательностей на Google Maps

    Используйте "точное совпадение". Параметр определяет, возвращать ли только выбранные категории или все, что показывает Google. Убедитесь, что вы используете правильные категории, открыв похожие места в Google и проверив категорию.

  2. Фильтрация результатов

    Фильтруйте результаты, применяя Фильтры в столбец подтипов. Такие фильтры могут отсеять все не относящиеся к делу данные и вернуть вам только то, что вам нужно. Чтобы избежать пустых результатов, перед использованием фильтров убедитесь, что вы знакомы со значениями полей.

Бывают случаи, когда предопределенных местоположений и / или категорий недостаточно. Используйте параметры «Пользовательские местоположения» и / или «Пользовательские категории», чтобы вставить нужные категории и / или местоположения.
Есть ограничение Google Maps, которое показывает только до 400-500 мест за один поисковый запрос. Это может быть проблемой, когда в одной категории больше компаний. Например, для запроса «Рестораны, Бруклин». Для решения этой проблемы мы предлагаем разделить местоположение на подместоположения. Например, с помощью почтовых индексов: "Рестораны, Бруклин 11203", "Рестораны, Бруклин 11211", ”Рестораны, Бруклин 11215”, ... Или использование запросов с подкатегориями: «Азиатские рестораны, Бруклин», «Итальянские рестораны, Бруклин», «Мексиканские рестораны, Бруклин», …
Установите флажок «Использовать запросы» и введите запросы.
Чтобы заставить Google искать только определенные компании, заключите термин в кавычки "". В ” “ Оператор обычно используется вокруг стоп-слов (слов, которые в противном случае Google проигнорировал бы) или когда вы хотите, чтобы Google возвращал только те страницы, которые точно соответствуют вашим условиям поиска.
После нажатия кнопки «Извлечь данные…» вы увидите оценку задачи и запросы. Рекомендуется нажать и открыть несколько запросов, чтобы проверить, как это выглядит на сайте Google Maps.
Для контроля ожидаемого количества результатов следует придерживаться двух правил. 1. Количество организаций на количество запросов - лимит организаций, которые можно взять из одного запроса. 2. Количество запросов - количество поисковых запросов, которые вы собираетесь сделать. Бот сделает 6 запросов для извлечения данных из 2 категорий и 3 мест. Следовательно, итоговая сумма будет не более 480 организаций (лимит 80 * 6 запросов).

Вы можете удалить дубликаты в одном задании, установив флажок "Убрать дубликаты".

Да, вы можете сбрасывать дубликаты внутри одной задачи, используя флажок "Сбрасывать дубликаты" (расширенные параметры). Кроме того, вы можете сделать это самостоятельно, используя поля "google_id" или "place_id" в качестве уникальных идентификаторов места.

Точное количество результатов будет известно только после извлечения. Вы можете использовать "Total places limit", чтобы ограничить конечное количество извлеченных результатов.
Да. Вы можете использовать следующую ссылку в качестве запроса "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", где можно указать запрос (real+estate+agency), координаты (41.4034,2.1718413) и уровень масштабирования (17z). Вы можете найти эти значения при посещении Google Maps. Также вы можете использовать параметр "координаты", если вы используете API.
Да. Вы можете использовать Скребок писем и контактов вместе со скрепером Google Maps для обогащения данных от Google. Для этого выберите "Emails & Contacts Scraper" в разделе "Enrich by other services" на странице Страница Google Maps Scraper.
Вы будете платить только за результаты, которые вы извлекли, независимо от количества запросов.

Нет. В открытом доступе нет информации об электронных письмах, связанных с листингом на Google Maps. Outscraper использует внешние источники, чтобы найти эти электронные письма.

Да. Вы можете использовать фильтры из расширенных параметров со следующим оператором.

Вы можете разделить свои задачи по городам/штатам или по каким-либо другим уникальным атрибутам. Например, в первой задаче можно извлечь места из Нью-Йорка, а во второй - места из Калифорнии.

Связаться с Нами

Вопросы, особые потребности, проблемы ... Всегда рады вас слышать.