Часто задаваемые вопросы

Общий

Скраппинг, сбор или извлечение - это процесс получения всей информации с какого-либо публичного сайта. Он автоматизирует ручной экспорт данных.

Сокращение и извлечение публичных данных защищено Первой поправкой к Конституции США. Девятый окружной апелляционный суд постановил, что автоматизированное соскабливание общедоступных данных не нарушает Закон о компьютерном мошенничестве и злоупотреблении (CFAA). Тем не менее, вам следует обратиться за консультацией к адвокату по вашему конкретному вопросу, чтобы соблюсти законы вашей юрисдикции.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Посетите API Docs или страницу GitHub, чтобы получить инсайдерские советы о том, как интегрировать сервисы в ваш код. Загляните в блог.

Вы можете отключить уведомления на странице профиля. .

Мы извлекаем только общедоступные данные, и скрепер работает как браузер для специалистов по изучению данных, разработчиков и маркетологов.

Механизм, гарантирующий отсутствие PII в данных, заключается в выборе столбцов, которые вы хотите вернуть.

Платежи и подписки

Счет будет выставлен на основании использования услуг в течение биллингового периода (30 дней). Цены указаны на странице.

Free Tier - это объем использования, который вы можете использовать бесплатно каждый месяц. Например, некоторые продукты имеют уровень Free Tier с 500 запросами в месяц. Это означает, что любое использование продукта менее 500 запросов в течение месяца будет бесплатным.

Когда подписка будет оформлена, вы получите счет за использование услуг в течение периода подписки.

В случае если вы не сможете произвести оплату в течение 3 дней, система попытается произвести оплату автоматически.

  1. Перед добавлением кредитов убедитесь, что вы ввели свои данные на странице информации о выставлении счетов (на случай, если она понадобится в счетах или PO).
  2. Перейдите на страницу вашего профиля..
  3. Введите количество кредитов, которые вы хотите добавить.
  4. Выберите способ оплаты, который вы хотите использовать для добавления кредитов (кредитная карта, PayPal и т.д.).
  5. После нажатия кнопки с вашим способом оплаты, следуйте шагам поставщика способа оплаты.

После того, как вы использовали некоторую сумму, вы можете увидеть предстоящий счет на странице профиля. Как только вы получите сумму к оплате, вы можете сгенерировать счет вручную, нажав "Generate Invoice", или он будет сгенерирован автоматически в течение 30 дней.

Как только вы добавите кредиты на свой счет (вариант предоплаты), вы получите квитанцию о транзакции по электронной почте.

Счета-фактуры с использованием конкретных услуг будут генерироваться после каждого расчетного периода (30 дней). В качестве альтернативы, как только вы получите сумму к оплате, вы можете сгенерировать счет вручную, нажав "Generate Invoice" на странице профиля.

Да. Outscraper снимет с баланса вашего счета $10 и выставит дополнительный счет с причитающейся суммой.

Да.

Нет. Задание будет завершено, и если использование задания превысит кредиты вашего счета, вы просто получите счет-фактуру с неоплаченным использованием.

Вы можете использовать лимиты, чтобы ограничить объем извлекаемых данных.

  1. Откройте Outscraper Platform.
  2. Перейдите в раздел Страница "Информация о выставлении счетов.
  3. Введите необходимую информацию для выставления счетов, которую вы хотите видеть на счетах.
  4. Нажмите кнопку Сохранить. Все ваши будущие счета-фактуры будут создаваться с учетом введенной вами информации.

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

API

Предельное количество запросов в секунду зависит от характера запросов, сервиса и параметров запроса (количество результатов, количество запросов и т.д.). В среднем QPS составляет около 20 (мягкий предел). Однако Outscraper может масштабироваться в соответствии с вашими потребностями. Пожалуйста, контакт с командой, если вам нужен более высокий QPS.

Да. API поддерживает пакетную отправку массивов, содержащих до 25 запросов (например, query=text1&query=text2&query=text3). Это позволяет отправлять несколько запросов в одном запросе и экономит сетевую задержку.

Перейдите на страницу История использования API, чтобы увидеть последние запросы.

Перейдите в раздел страница профиля->API-токен для создания нового ключа.

Среднее время ответа составляет 3-5 секунд. Но оно может зависеть от типа услуги (оптимизированная скорость или нет) и количества запросов в одном запросе (пакетный вариант).

Есть несколько ключевых моментов, которые следует соблюдать для увеличения пропускной способности API.

  1. Убедитесь, что вы используете последние версии конечных точек API. Например, предпочитайте использовать Places API V2 вместо Places API V1. В случае использования SDK по умолчанию будет использоваться последняя версия API (например, google_maps_search()).
  2. Используйте пакетную обработку для отправки до 25 запросов в одном запросе (например, query=text1&query=text2&query=text3). Это позволяет отправлять несколько запросов в одном запросе и экономить время задержки в сети.
  3. Выполняйте запросы параллельно. Посмотрите этот пример..
  4. Используйте webhook для получения результатов, когда он будет готов.

Некоторые задачи могут потребовать времени для извлечения данных. Существует несколько способов обработки тайм-аутов.

  1. Используйте повторные запросы. Ожидайте, что некоторое количество запросов на скрапбукинг может привести к ошибке или тайм-ауту. Обычно повторная попытка решает проблему.
  2. Используйте асинхронные запросы. Хорошей практикой является отправка асинхронных запросов и начало проверки результатов по истечении расчетного времени выполнения. Посмотрите эту реализацию на Python в качестве примера.
    .
  3. Используйте webhook для получения результатов, когда он будет готов.

Парсер Google Maps

Иногда Google добавляет к вашему поиску другие категории. Например, при поиске ресторанов вы можете увидеть бары, кофейни магазины или даже отели. Это может привести к нерелевантным данным, особенно если вы используете незначительные категории, такие как бассейны
.

Outscraper предоставляет вам два инструмента, которые вы можете использовать для удаления этих категорий.

  1. Категория достопримечательностей на Google Maps

    Используйте "точное совпадение". Параметр указывает, возвращать ли только выбранные категории или все, что показывает Google. Убедитесь, что вы используете правильные категории, открыв похожие места в Google и проверив категорию.

  2. Фильтрация результатов

    Фильтруйте результаты, применяя фильтры к столбцу подтипов. Такие фильтры могут отсеять все нерелевантные данные и вернуть только то, что вам нужно. Чтобы избежать пустых результатов, перед использованием фильтров убедитесь, что вы знакомы со значениями полей.
    .

Бывают случаи, когда предопределенных местоположений и / или категорий недостаточно. Используйте параметры «Пользовательские местоположения» и / или «Пользовательские категории», чтобы вставить нужные категории и / или местоположения.

В Google Maps есть ограничение, которое показывает только до 400-500 мест по одному запросу. Это может стать проблемой, если в одной категории больше компаний. Например, для запроса «Рестораны, Бруклин».

Чтобы преодолеть эту проблему, мы предлагаем разделить местоположение на подместоположения. Например, с помощью почтовых индексов:
"Рестораны, Бруклин 11203",
"Рестораны, Бруклин 11211",
”Рестораны, Бруклин 11215”,

…

Или используя запросы с подкатегориями:

«Азиатские рестораны, Бруклин»,

«Итальянские рестораны, Бруклин»,

«Мексиканские рестораны, Бруклин»,

…

Установите переключатель "Использовать запросы" и введите запросы.

Чтобы заставить Google искать только определенные компании, заключите термин в кавычки "". В ” “ Оператор обычно используется вокруг стоп-слов (слов, которые в противном случае Google проигнорировал бы) или когда вы хотите, чтобы Google возвращал только те страницы, которые точно соответствуют вашим условиям поиска.

После нажатия кнопки «Извлечь данные…» вы увидите оценку задачи и запросы.

Рекомендуется нажать и открыть несколько запросов, чтобы проверить, как это выглядит на сайте Google Maps.

Есть две вещи, которым вы должны следовать, чтобы контролировать ожидаемое количество результатов.

1. Organizations per query limit - предельное количество организаций, которое можно взять из одного запроса..

2. Количество запросов - количество поисковых запросов, которые вы собираетесь сделать.

Бот сделает 6 запросов для извлечения данных из 2 категорий и 3 мест.

Следовательно, итоговая сумма будет не более 480 организаций (лимит 80 * 6 запросов).

Вы можете удалить дубликаты в одном задании, установив флажок "Убрать дубликаты".

Да, вы можете сбрасывать дубликаты внутри одной задачи с помощью флажка "Сбрасывать дубликаты" (расширенные параметры). Кроме того, вы можете отбросить их самостоятельно, используя поля "google_id" или "place_id" в качестве уникальных идентификаторов места.

Точное количество результатов станет известно только после извлечения.

Вы можете использовать «Ограничение на общее количество мест», чтобы ограничить окончательное количество извлекаемых результатов.

Да. Вы можете использовать в качестве запроса следующую ссылку: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", где можно указать запрос (real+estate+agency), координаты (41.4034,2.1718413) и уровень масштабирования (17z). Эти значения можно найти при посещении Google Maps.

В качестве альтернативы можно использовать параметр "coordinates", если вы используете API.

Да. Вы можете использовать Emails & Contacts Scraper вместе со скрепером Google Maps для обогащения данных Google. Для этого выберите "Emails & Contacts Scraper" в разделе "Enrich by other services" на странице Google Maps Scraper.

Вы платите только за полученные результаты, независимо от количества запросов.

Нет. В открытом доступе нет информации об электронных письмах, связанных с листингом на Google Maps. Outscraper использует внешние источники, чтобы найти эти электронные письма.

Да. Вы можете использовать фильтры из расширенных параметров со следующим оператором.

Вы можете разделить задачи по городам/штатам или другим уникальным атрибутам. Например, вы можете извлечь места из Нью-Йорка в первую задачу и места из Калифорнии во вторую задачу.

Связаться с Нами

Вопросы, особые потребности, проблемы ... Всегда рады вас слышать.