Outscraper F.A.Q.

Генерал

Скрейпінг, збір або вилучення - це процес отримання всієї інформації з певного публічного сайту. Він автоматизує ручний експорт даних.

The scraping and extracting of public data is protected by the First Amendment of the United States Constitution. The Ninth Circuit Court of Appeals ruled that automated scraping of publicly accessible data does not violate the Computer Fraud and Abuse Act (CFAA). Although, you should seek the counsel of an attorney on your specific matter to comply with the laws in your jurisdiction.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

Ми видобуваємо тільки загальнодоступні дані, а скрепер працює як браузер для data scientist, розробників та маркетологів.

Механізм гарантування даних, що не містять PII, полягає у виборі колонок, які ви хочете повернути.

No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.

Платежі та підписки

The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.

Безкоштовний рівень - це обсяг використання, який ви можете використовувати безкоштовно щомісяця. Наприклад, деякий продукт X має безкоштовний рівень з 500 запитами на місяць. Це означає, що будь-яке використання продукту нижче 500 запитів протягом місяця буде безкоштовним.

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

In the event that you’re not able to make a payment within 3 days the system will try to charge you automatically.

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. Enter the number of credits you want to add.
  4. Choose the payment method you want to use in order to add credits (credit card, PayPal, etc.).
  5. After clicking the button with your payment method, follow the steps of the payment method provider.

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

Once you add credits to your account (prepaid option), you will receive the receipt for the transaction by email.

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

Так. Outscraper зніме кошти з вашого рахунку за $10 і виставить додатковий інвойс із зазначенням суми до сплати.

Так.

Ні. Завдання буде завершено, і якщо використання завдання буде більшим, ніж кошти на вашому рахунку, ви просто отримаєте рахунок-фактуру із зазначенням несплаченого використання.

Ви можете використовувати ліміти, щоб обмежити обсяг вилучених даних.

  1. Open Outscraper Platform.
  2. Перейдіть до розділу Billing Information page.
  3. Enter the necessary billing information you want to see on your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

Приведи друга та почни отримувати 35% від ваших реферальних платежів до балансу вашого рахунку. Ваш реферал отримає 25% знижку на перший платіж. Отримайте своє реферальне посилання зараз.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

Перейти до сторінка профілю->API токен для створення нового ключа.

Середній час відповіді становить 3-5 секунд. Але це може залежати від типу сервісу (оптимізовано швидкість чи ні) та кількості запитів на один запит (пакетна опція).

Існує кілька ключових моментів, яких слід дотримуватися, щоб збільшити пропускну здатність API.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Використовуйте пакетну відправку для надсилання до 25 запитів в одному запиті (наприклад, query=text1&query=text2&query=text3). Це дозволяє надсилати кілька запитів в одному запиті та економити час затримки в мережі.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways to handle timeouts.

  1. Використовуйте повторні спроби. Будьте готові до того, що певна кількість запитів на вилучення може повернути помилку або таймаут. Зазвичай, повторна спроба вирішує проблему.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Google Maps Scraper

Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.

Outscraper надає вам два інструменти, які ви можете використовувати для усунення цих категорій.

  1. Категорія пам'яток на Картах Google

    Використовуйте кнопку "точний збіг” checkbox. The parameter specifies whether to return only the categories you selected or everything that Google shows. Make sure you are using the right categories by opening similar places on Google and checking the category.

  2. Фільтрація результатів

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

Бувають випадки, коли попередньо визначених локацій та/або категорій недостатньо. Скористайтеся опціями "Користувацькі локації" та/або "Користувацькі категорії", щоб вставити потрібні вам категорії та/або локації.

Існує обмеження від Google Maps, яке показує лише до 400-500 місць на один пошук за одним запитом. Це може бути проблемою, коли в одній категорії більше компаній. Наприклад, для запиту "ресторани, Бруклін".

. Щоб подолати цю проблему, ми пропонуємо розбити локацію на підлокації. Наприклад, за допомогою поштових індексів:
"ресторани, Бруклін 11203",
"ресторани, Бруклін 11211",
"ресторани, Бруклін 11215",

…

Or using queries with sub-categories:

"Азіатські ресторани, Бруклін",

"Італійські ресторани, Бруклін",

"Мексиканські ресторани, Бруклін",

…

Check the “Use queries” switcher and enter the queries.

Щоб змусити Google шукати тільки певні компанії, візьміть термін у лапки " ". На сьогоднішній день, на жаль, це не так. ” “ зазвичай використовується навколо стоп-слів (слів, які Google інакше проігнорував би) або коли ви хочете, щоб Google повертав лише ті сторінки, які точно відповідають вашим пошуковим запитам.

Після натискання кнопки "Витягти дані..." ви побачите оцінку завдання і запити.

Рекомендується натиснути і відкрити кілька запитів, щоб перевірити, як це виглядає на сайті Google Maps.

Є дві речі, яких слід дотримуватися, щоб контролювати очікувану кількість результатів. 1.

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

Бот зробить 6 запитів, щоб отримати дані з 2 категорій та 3 локацій.

Таким чином, в результаті вийде не більше 480 організацій (обмеження 80 * 6 запитів).

Ви можете видалити дублікати в одному завданні, встановивши прапорець "Вилучити дублікати".

Так, ви можете видаляти дублікати всередині одного завдання, використовуючи прапорець "Видаляти дублікати" (розширені параметри). Крім того, ви можете видалити їх самостійно, використовуючи поля "google_id" або "place_id" як унікальні ідентифікатори для місця.

The exact number of results will be known only after the extraction.

You can use “Total places limit” to limit the final amount of results scraped.

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

You will pay only for the results you extract, no matter how many queries you make.

Ні. Немає публічної інформації про адреси електронної пошти, пов'язані з лістингом на Картах Google. Outscraper використовує зовнішні джерела для пошуку цих адрес.

Так, ви можете використовувати фільтри з розширених параметрів за допомогою наступного оператора.

Ви можете розділити завдання за містом/штатом або іншими унікальними атрибутами. Наприклад, у першому завданні ви можете витягти місця з Нью-Йорка, а в другому - з Каліфорнії.

Так. To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

Зв'яжіться з нами

Питання, особливі потреби, проблеми... Завжди раді вас чути.