Outscraper F.A.Q.

Генерал

Скрейпінг, збір або вилучення - це процес отримання всієї інформації з певного публічного сайту. Він автоматизує ручний експорт даних.
Вилучення публічних даних захищене Першою поправкою до Конституції Сполучених Штатів. Дев'ятий окружний апеляційний суд постановив, що автоматизоване вилучення загальнодоступних даних не порушує Закон про комп'ютерне шахрайство та зловживання (CFAA). Тим не менш, вам слід звернутися за порадою до адвоката з конкретного питання, щоб відповідати законам у вашій юрисдикції.
Каса API-документація або відвідати GitHub щоб дізнатися, як інтегрувати сервіси у свій код. Ознайомтеся зі статтею блог.
Ви можете вимкнути сповіщення на сторінці сторінка профілю.
Ми видобуваємо тільки загальнодоступні дані, а скрепер працює як браузер для data scientist, розробників та маркетологів. Механізм гарантування даних, що не містять PII, полягає у виборі колонок, які ви хочете повернути.

Платежі та підписки

Рахунок-фактура буде сформований на основі використання послуги під час виставлення рахунків (30 днів). Ціни вказані на сторінка.
Безкоштовний рівень - це обсяг використання, який ви можете використовувати безкоштовно щомісяця. Наприклад, деякий продукт X має безкоштовний рівень з 500 запитами на місяць. Це означає, що будь-яке використання продукту нижче 500 запитів протягом місяця буде безкоштовним.
Коли підписка буде завершена, ви отримаєте рахунок за користування послуги протягом періоду підписки. Якщо ви не зможете здійснити платіж протягом 3 днів, система спробує списати кошти автоматично.
Після того, як ви використаєте певну кількість часу, ви зможете побачити майбутній рахунок-фактуру на сторінка профілю. Після того, як ви отримаєте суму до сплати, ви можете згенерувати інвойс вручну, натиснувши кнопку "Згенерувати інвойс", або він буде згенерований автоматично протягом 30 днів.
Після того, як ви поповните свій рахунок (передоплата), ви отримаєте квитанцію про здійснення транзакції на електронну пошту. Рахунки за користування певними послугами будуть генеруватися після кожного розрахункового періоду (30 днів). Крім того, як тільки у вас є сума до сплати, ви можете згенерувати рахунок вручну, натиснувши "Згенерувати рахунок" на сторінці сторінка профілю.

Так. Outscraper зніме кошти з вашого рахунку за $10 і виставить додатковий інвойс із зазначенням суми до сплати.

Так.

Ні. Завдання буде завершено, і якщо використання завдання буде більшим, ніж кошти на вашому рахунку, ви просто отримаєте рахунок-фактуру із зазначенням несплаченого використання.

Ви можете використовувати ліміти, щоб обмежити обсяг вилучених даних.

  1. Open Платформа Outscraper.
  2. Перейти до Billing Information page.
  3. Enter the necessary billing information you want to see in your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

API

Ліміт запитів на секунду залежить від характеру запитів, сервісу та параметрів запиту (кількість результатів, кількість запитів тощо). Середній показник QPS становить близько 20 (м'який ліміт). Однак Outscraper може масштабуватися відповідно до ваших потреб. Будь ласка зв'язатися з командою на випадок, якщо вам потрібен вищий QPS.

Так. API підтримує пакетну передачу, відправляючи масиви з довжиною до 25 запити (наприклад, query=text1&query=text2&query=text3). Це дозволяє надсилати декілька запитів в одному запиті та економити час затримки в мережі.

Перейдіть до розділу Сторінка історії використання API щоб побачити ваші останні запити.

Перейти до сторінка профілю->API токен для створення нового ключа.

Середній час відповіді становить 3-5 секунд. Але це може залежати від типу сервісу (оптимізовано швидкість чи ні) та кількості запитів на один запит (пакетна опція).

Існує кілька ключових моментів, яких слід дотримуватися, щоб збільшити пропускну здатність API.

  1. Переконайтеся, що ви використовуєте найновіші версії кінцевих точок API. Наприклад, віддайте перевагу використанню Місця API V2  замість Місця API V1. У разі використання SDK за замовчуванням буде використано останню версію API (наприклад google_maps_search()).
  2. Використовуйте пакетну відправку для надсилання до 25 запитів в одному запиті (наприклад, query=text1&query=text2&query=text3). Це дозволяє надсилати кілька запитів в одному запиті та економити час затримки в мережі.
  3. Запускайте запити паралельно. Перевірте цей приклад.
  4. Використовуйте веб-хук щоб отримати результати, коли він буде готовий.

Деякі завдання можуть потребувати певного часу для вилучення даних. Існує кілька способів керування тайм-аутами.

  1. Використовуйте повторні спроби. Будьте готові до того, що певна кількість запитів на вилучення може повернути помилку або таймаут. Зазвичай, повторна спроба вирішує проблему.
  2. Використовуйте асинхронні запити. Хороша практика - надсилати асинхронні запити і починати перевіряти результати після очікуваного часу виконання. Перевірте це Реалізація на Python як приклад.
  3. Використовуйте веб-хук щоб отримати результати, коли він буде готовий.

Google Maps Scraper

Іноді Google додає інші категорії до ваших запитів. Наприклад, коли ви шукаєте ресторани ти можеш побачити батончики, кава магазиниабо навіть готелі. Це може призвести до нерелевантних даних, особливо якщо ви використовуєте деякі незначні категорії, такі як басейни.

Outscraper надає вам два інструменти, які ви можете використовувати для усунення цих категорій.

  1. Категорія пам'яток на Картах Google

    Використовуйте кнопку "точний збіг". Параметр визначає, чи повертати тільки вибрані вами категорії, чи все, що показує Google. Переконайтеся, що ви використовуєте правильні категорії, відкривши схожі місця в Google і перевіривши категорію.

  2. Фільтрація результатів

    Відфільтруйте результати, застосувавши Фільтри до стовпчика підтипів. Такі фільтри можуть усунути всі нерелевантні дані і повернути вам тільки те, що вам потрібно. Щоб уникнути порожніх результатів, перед використанням фільтрів переконайтеся, що ви знаєте значення полів.

Бувають випадки, коли попередньо визначених локацій та/або категорій недостатньо. Скористайтеся опціями "Користувацькі локації" та/або "Користувацькі категорії", щоб вставити потрібні вам категорії та/або локації.
Існує обмеження від Google Maps, яке показує лише до 400-500 місць на один пошук за одним запитом. Це може бути проблемою, коли в одній категорії більше компаній. Наприклад, для запиту "ресторани, Бруклін". Щоб подолати цю проблему, ми пропонуємо розбити локацію на підлокації. Наприклад, за допомогою поштових індексів: "ресторани, Бруклін 11203", "ресторани, Бруклін 11211", "ресторани, Бруклін 11215"... Або використовуючи запити з підкатегоріями: "Азіатські ресторани, Бруклін", "Італійські ресторани, Бруклін", "Мексиканські ресторани, Бруклін", …
Встановіть перемикач "Використовувати запити" і введіть запити.
Щоб змусити Google шукати тільки певні компанії, візьміть термін у лапки " ". На сьогоднішній день, на жаль, це не так. ” “ зазвичай використовується навколо стоп-слів (слів, які Google інакше проігнорував би) або коли ви хочете, щоб Google повертав лише ті сторінки, які точно відповідають вашим пошуковим запитам.
Після натискання кнопки "Витягти дані..." ви побачите оцінку завдання і запити. Рекомендується натиснути і відкрити кілька запитів, щоб перевірити, як це виглядає на сайті Google Maps.
Є дві речі, яких слід дотримуватися, щоб контролювати очікувану кількість результатів. 1. Ліміт організацій на один запит - ліміт організацій, які можна взяти з одного запиту. 2. Кількість запитів - кількість пошукових запитів, які ви збираєтеся робити. Бот зробить 6 запитів, щоб отримати дані з 2 категорій та 3 локацій. Таким чином, в результаті вийде не більше 480 організацій (обмеження 80 * 6 запитів).

Ви можете видалити дублікати в одному завданні, встановивши прапорець "Вилучити дублікати".

Так, ви можете видаляти дублікати всередині одного завдання, використовуючи прапорець "Видаляти дублікати" (розширені параметри). Крім того, ви можете видалити їх самостійно, використовуючи поля "google_id" або "place_id" як унікальні ідентифікатори для місця.

Точна кількість результатів буде відома тільки після вилучення. Ви можете використовувати "Обмеження кількості місць", щоб обмежити кінцеву кількість вилучених результатів.
Так, ви можете використовувати наступне посилання як запит "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", де можна вказати запит (real+estate+agency), координати (41.4034,2.1718413) та рівень масштабування (17z). Ви можете знайти ці значення під час відвідування Google Maps. Крім того, ви можете використовувати параметр "координати", якщо ви використовуєте API.
Так, ви можете використовувати Скребок електронної пошти та контактів разом зі скребком Google Maps для збагачення даних від Google. Для цього в розділі "Збагатити іншими сервісами" на сторінці "Збагачення іншими сервісами" виберіть "Скрейпер Emails & Contacts". Сторінка скрепера Google Maps.
Ви платите лише за отримані результати, незалежно від кількості запитів.

Ні. Немає публічної інформації про адреси електронної пошти, пов'язані з лістингом на Картах Google. Outscraper використовує зовнішні джерела для пошуку цих адрес.

Так, ви можете використовувати фільтри з розширених параметрів за допомогою наступного оператора.

Ви можете розділити завдання за містом/штатом або іншими унікальними атрибутами. Наприклад, у першому завданні ви можете витягти місця з Нью-Йорка, а в другому - з Каліфорнії.

Зв'яжіться з нами

Питання, особливі потреби, проблеми... Завжди раді вас чути.