Outscraper F.A.Q.

Генерал

Скрейпінг, збір або вилучення - це процес отримання всієї інформації з певного публічного сайту. Він автоматизує ручний експорт даних.

Вилучення публічних даних захищено Першою поправкою до Конституції Сполучених Штатів. Дев'ятий окружний апеляційний суд постановив, що автоматизоване вилучення загальнодоступних даних не порушує Закон про комп'ютерне шахрайство та зловживання (CFAA). Проте, вам слід звернутися за порадою до адвоката у вашій конкретній справі, щоб відповідати законам у вашій юрисдикції.

Кожне завдання скрепінгу виконується в хмарі. Ваша IP-адреса не постраждає від скрепінгу.

Перегляньте API Docs або відвідайте GitHub, щоб отримати інсайдерські поради про те, як інтегрувати сервіси у свій код. Перевірте блог.

Ви можете вимкнути сповіщення на сторінці профілю.

Ми видобуваємо тільки загальнодоступні дані, а скрепер працює як браузер для data scientist, розробників та маркетологів.

Механізм гарантування даних, що не містять PII, полягає у виборі колонок, які ви хочете повернути.

Ні. Всі операції вилучення відбуваються на серверах Outscraper, що гарантує, що ваша IP-адреса не використовується для вилучення даних. Це також означає, що ваш комп'ютер можна вимкнути під час виконання завдань вилучення.

Платежі та підписки

Рахунок буде сформовано на основі використання послуг протягом розрахункового періоду (30 днів). Ціни вказані на сторінці.

Безкоштовний рівень - це обсяг використання, який ви можете використовувати безкоштовно щомісяця. Наприклад, деякий продукт X має безкоштовний рівень з 500 запитами на місяць. Це означає, що будь-яке використання продукту нижче 500 запитів протягом місяця буде безкоштовним.

Після завершення підписки ви отримаєте рахунок за користування послугами протягом періоду підписки.

Якщо ви не зможете здійснити платіж протягом 3 днів, система спробує списати кошти автоматично.

  1. Перед додаванням кредитів переконайтеся, що ви ввели свої дані на сторінці з інформацією про виставлення рахунків (на випадок, якщо вони знадобляться вам в інвойсах або PO).
  2. Перейдіть на сторінку вашого профілю.
  3. Введіть кількість кредитів, які ви хочете додати.
  4. Виберіть спосіб оплати, який ви хочете використовувати для поповнення рахунку (кредитна картка, PayPal тощо).
  5. Після натискання кнопки з вашим методом оплати, дотримуйтесь інструкцій постачальника методу оплати.

Після того, як ви скористаєтесь послугами, ви зможете побачити майбутній рахунок на сторінці профілю. Після того, як ви отримаєте суму до сплати, ви можете згенерувати рахунок вручну, натиснувши кнопку “Згенерувати рахунок”, або ж він буде згенерований автоматично протягом 30 днів.

Після того, як ви поповните свій рахунок (варіант передоплати), ви отримаєте квитанцію про транзакцію на електронну пошту.

Рахунки за користування певними послугами будуть генеруватися після кожного розрахункового періоду (30 днів). Крім того, як тільки ви отримаєте суму до сплати, ви можете згенерувати рахунок вручну, натиснувши “Згенерувати рахунок” на сторінці профілю.

Так. Outscraper зніме кошти з вашого рахунку за $10 і виставить додатковий інвойс із зазначенням суми до сплати.

Так.

Ні. Завдання буде завершено, і якщо використання завдання буде більшим, ніж кошти на вашому рахунку, ви просто отримаєте рахунок-фактуру із зазначенням несплаченого використання.

Ви можете використовувати ліміти, щоб обмежити обсяг вилучених даних.

  1. Відкрити Outscraper Platform.
  2. Перейдіть до розділу Сторінка з інформацією про виставлення рахунків.
  3. Введіть необхідну платіжну інформацію, яку ви хочете бачити на своїх рахунках.
  4. Натисніть кнопку Зберегти. Всі ваші майбутні інвойси будуть створені з введеною вами інформацією.

Приведи друга та почни отримувати 35% від ваших реферальних платежів до балансу вашого рахунку. Ваш реферал отримає 25% знижку на перший платіж. Отримайте своє реферальне посилання зараз.

API

Ліміт запитів (QPS) на секунду залежить від характеру запитів, сервісу та параметрів запиту (кількість результатів, кількість запитів тощо). Середній показник QPS становить близько 20 (м'який ліміт). Однак Outscraper може масштабуватися відповідно до ваших потреб. Будь ласка зв'язатися з командою на випадок, якщо вам потрібен вищий QPS.

Так. API підтримує пакетне надсилання масивів з 25 запитів (наприклад, query=text1&query=text2&query=text3). Це дозволяє надсилати декілька запитів в одному запиті і економить мережеві затримки.

Перейдіть на сторінку Історія використання API, щоб переглянути останні запити.

Перейти до сторінка профілю->API токен для створення нового ключа.

Середній час відповіді становить 3-5 секунд. Але це може залежати від типу сервісу (оптимізовано швидкість чи ні) та кількості запитів на один запит (пакетна опція).

Існує кілька ключових моментів, яких слід дотримуватися, щоб збільшити пропускну здатність API.

  1. Переконайтеся, що ви використовуєте найновіші версії кінцевих точок API. Наприклад, використовуйте Places API V2 замість Places API V1. У разі використання SDK за замовчуванням використовуватиметься остання версія API (наприклад, google_maps_search()).
  2. Використовуйте пакетну відправку для надсилання до 25 запитів в одному запиті (наприклад, query=text1&query=text2&query=text3). Це дозволяє надсилати кілька запитів в одному запиті та економити час затримки в мережі.
  3. Запускайте запити паралельно. Подивіться цей приклад.
  4. Використовуйте webhook, щоб отримати результати, коли він буде готовий.

Деякі завдання можуть потребувати певного часу для вилучення даних. Існує кілька способів керування тайм-аутами.

  1. Використовуйте повторні спроби. Будьте готові до того, що певна кількість запитів на вилучення може повернути помилку або таймаут. Зазвичай, повторна спроба вирішує проблему.
  2. Використовуйте асинхронні запити. Хороша практика - надсилати асинхронні запити і починати перевіряти результати після очікуваного часу виконання. Ознайомтеся з цим прикладом реалізації на Python.
    .
  3. Використовуйте webhook, щоб отримати результати, коли він буде готовий.

Google Maps Scraper

Іноді Google додає до ваших запитів інші категорії. Наприклад, коли ви шукаєте ресторани, ви можете побачити бари, кав'ярні магазини або навіть готелі. Це може призвести до нерелевантних даних, особливо коли ви використовуєте незначні категорії, такі як басейни.
.

Outscraper надає вам два інструменти, які ви можете використовувати для усунення цих категорій.

  1. Категорія пам'яток на Картах Google

    Використовуйте кнопку "точний збіг”. Параметр визначає, чи повертати тільки вибрані вами категорії, чи все, що показує Google. Переконайтеся, що ви використовуєте правильні категорії, відкривши схожі місця в Google і перевіривши категорію.

  2. Фільтрація результатів

    Фільтруйте результати, застосувавши Фільтри до колонки підтипів. Такі фільтри можуть усунути всі нерелевантні дані і повернути тільки те, що вам потрібно. Щоб уникнути порожніх результатів, переконайтеся, що ви знайомі зі значеннями полів перед використанням фільтрів.

Бувають випадки, коли попередньо визначених локацій та/або категорій недостатньо. Скористайтеся опціями "Користувацькі локації" та/або "Користувацькі категорії", щоб вставити потрібні вам категорії та/або локації.

Існує обмеження від Google Maps, яке показує лише до 400-500 місць на один пошук за одним запитом. Це може бути проблемою, коли в одній категорії більше компаній. Наприклад, для запиту "ресторани, Бруклін".

. Щоб подолати цю проблему, ми пропонуємо розбити локацію на підлокації. Наприклад, за допомогою поштових індексів:
"ресторани, Бруклін 11203",
"ресторани, Бруклін 11211",
"ресторани, Бруклін 11215",

…

Або використовуючи запити з підкатегоріями:

"Азіатські ресторани, Бруклін",

"Італійські ресторани, Бруклін",

"Мексиканські ресторани, Бруклін",

…

Встановіть перемикач “Використовувати запити” і введіть запити.

Щоб змусити Google шукати тільки певні компанії, візьміть термін у лапки " ". На сьогоднішній день, на жаль, це не так. ” “ зазвичай використовується навколо стоп-слів (слів, які Google інакше проігнорував би) або коли ви хочете, щоб Google повертав лише ті сторінки, які точно відповідають вашим пошуковим запитам.

Після натискання кнопки "Витягти дані..." ви побачите оцінку завдання і запити.

Рекомендується натиснути і відкрити кілька запитів, щоб перевірити, як це виглядає на сайті Google Maps.

Є дві речі, яких слід дотримуватися, щоб контролювати очікувану кількість результатів. 1.

1. Ліміт організацій на запит - ліміт організацій, які можна взяти з одного запиту.

2. Кількість запитів - кількість пошукових запитів, які ви збираєтеся зробити.

Бот зробить 6 запитів, щоб отримати дані з 2 категорій та 3 локацій.

Таким чином, в результаті вийде не більше 480 організацій (обмеження 80 * 6 запитів).

Ви можете видалити дублікати в одному завданні, встановивши прапорець "Вилучити дублікати".

Так, ви можете видаляти дублікати всередині одного завдання, використовуючи прапорець "Видаляти дублікати" (розширені параметри). Крім того, ви можете видалити їх самостійно, використовуючи поля "google_id" або "place_id" як унікальні ідентифікатори для місця.

Точна кількість результатів буде відома лише після екстракції.

Ви можете використовувати “Ліміт місць”, щоб обмежити остаточну кількість вилучених результатів.

Так, ви можете використовувати наступне посилання як запит: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z”, де ви можете вказати запит (real+estate+agency), координати (41.4034,2.1718413) і рівень масштабування (17z). Ці значення ви можете знайти під час відвідування Google Maps.

Крім того, ви можете використовувати параметр “coordinates”, якщо ви використовуєте API.

Так, ви можете використовувати Emails & Contacts Scraper разом зі скребком Google Maps для збагачення даних від Google. Для цього виберіть “Emails & Contacts Scraper” у розділі “Збагатити іншими сервісами” на сторінці Google Maps Scraper.

Ви платите лише за отримані результати, незалежно від того, скільки запитів ви зробите.

Ні. Немає публічної інформації про адреси електронної пошти, пов'язані з лістингом на Картах Google. Outscraper використовує зовнішні джерела для пошуку цих адрес.

Так, ви можете використовувати фільтри з розширених параметрів за допомогою наступного оператора.

Ви можете розділити завдання за містом/штатом або іншими унікальними атрибутами. Наприклад, у першому завданні ви можете витягти місця з Нью-Йорка, а в другому - з Каліфорнії.

Так. Щоб знайти бізнес-дотепністьЯкщо ви не знайшли потрібного сайту, ви можете скористатися нашими розширеними фільтрами пошуку. Виберіть поле ‘сайт’ і встановіть у ньому значення ‘порожньо’. Це покаже вам компанії, які не мають веб-сайту. Якщо ви хочете побачити компанії з веб-сайтами, просто встановіть у полі ‘сайт’ значення ‘не порожнє’.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

Зв'яжіться з нами

Питання, особливі потреби, проблеми... Завжди раді вас чути.