Outscraper F.A.Q.

Ogólne

Scraping, harvesting lub extracting to proces pobierania wszystkich informacji z jakiejś publicznej witryny. Automatyzuje on ręczne eksportowanie danych.

The scraping and extracting of public data is protected by the First Amendment of the United States Constitution. The Ninth Circuit Court of Appeals ruled that automated scraping of publicly accessible data does not violate the Computer Fraud and Abuse Act (CFAA). Although, you should seek the counsel of an attorney on your specific matter to comply with the laws in your jurisdiction.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

Wyciągamy tylko publicznie dostępne dane, a scraper działa jako przeglądarka dla naukowców, programistów i marketerów.

Mechanizmem gwarantującym, że dane nie zawierają PII, jest wybór kolumn, które mają być zwracane.

Płatności i subskrypcje

The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.

Poziom bezpłatny to ilość użycia, z której możesz korzystać bezpłatnie każdego miesiąca. Na przykład niektóre produkty X mają bezpłatny poziom z 500 żądaniami miesięcznie. Oznacza to, że każde użycie produktu poniżej 500 żądań w ciągu miesiąca będzie bezpłatne.

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

In the event that you’re not able to make a payment within 3 days the system will try to charge you automatically.

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. Enter the number of credits you want to add.
  4. Choose the payment method you want to use in order to add credits (credit card, PayPal, etc.).
  5. After clicking the button with your payment method, follow the steps of the payment method provider.

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

Once you add credits to your account (prepaid option), you will receive the receipt for the transaction by email.

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

Tak. Outscraper obciąży saldo konta użytkownika za $10 i wystawi dodatkową fakturę z należną kwotą.

Tak.

Nie. Zadanie zostanie ukończone, a jeśli jego wykorzystanie będzie większe niż środki na koncie, otrzymasz fakturę z pozostałą kwotą.

Aby ograniczyć ilość wyodrębnianych danych, można użyć limitów.

  1. Open Outscraper Platform.
  2. Przejdź do Billing Information page.
  3. Enter the necessary billing information you want to see on your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

Przejdź do strona profilu->API token, aby utworzyć nowy klucz.

The average response time is 3-5 seconds. But it might depend on the service (speed optimized or no) type and the number of queries per request (batch option).

There are a few key points you should follow to increase the throughput of the API.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Use batching to send up to 25 queries per one request (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways to handle timeouts.

  1. Use retries. Expect that some number of scraping requests might return an error or timeout. Usually, trying one more time solves the issue.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Skrobak Map Google

Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.

Outscraper udostępnia dwa narzędzia, które można wykorzystać do wyeliminowania tych kategorii.

  1. Kategoria punktów orientacyjnych na Mapach Google

    Użyj przycisku "dokładne dopasowanie” checkbox. The parameter specifies whether to return only the categories you selected or everything that Google shows. Make sure you are using the right categories by opening similar places on Google and checking the category.

  2. Filtrowanie wyników

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

W niektórych przypadkach predefiniowane lokalizacje i/lub kategorie nie są wystarczające. Użyj opcji "Lokalizacje niestandardowe" i/lub "Kategorie niestandardowe", aby wstawić potrzebne kategorie i/lub lokalizacje.

Mapy Google ograniczają się do wyświetlania maksymalnie 400-500 miejsc na jedno zapytanie. Może to stanowić problem, gdy w jednej kategorii znajduje się więcej firm. Na przykład, dla zapytania "restauracje, Brooklyn".

. Aby temu zaradzić, proponujemy podzielenie lokalizacji na pod-lokalizacje. Na przykład za pomocą kodów pocztowych:
"restauracje, Brooklyn 11203".,
"restauracje, Brooklyn 11211",
"restauracje, Brooklyn 11215",

…

Or using queries with sub-categories:

"Restauracje azjatyckie, Brooklyn",

"Włoskie restauracje, Brooklyn",

"Restauracje meksykańskie, Brooklyn",

…

Check the “Use queries” switcher and enter the queries.

Aby zmusić Google do wyszukiwania tylko określonych firm, należy ująć termin w cudzysłów " ". ten ” “ operator jest zwykle stosowany w przypadku słów stop (słów, które w przeciwnym razie Google by zignorowało) lub gdy chcesz, aby Google zwróciło tylko te strony, które dokładnie odpowiadają wyszukiwanym hasłom.

Po kliknięciu przycisku "Wyodrębnij dane..." pojawi się kosztorys zadania i zapytania.

Zaleca się kliknięcie i otwarcie kilku zapytań, aby sprawdzić, jak wyglądają one w witrynie Mapy Google.

Są dwie rzeczy, których należy przestrzegać, aby kontrolować oczekiwaną liczbę wyników. 1.

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

Bot wykona 6 zapytań w celu pobrania danych z 2 kategorii i 3 lokalizacji.

W związku z tym wynikowa liczba organizacji nie będzie większa niż 480 (limit 80 * 6 zapytań).

Można usunąć duplikaty w jednym zadaniu, zaznaczając pole wyboru "Usuń duplikaty".

Yes, you can drop duplicates inside one task by using the “Drop duplicates” checkbox (advanced parameters). Alternatively, you can drop it yourself by using the “google_id” or “place_id” fields as unique identifiers for a place.

The exact number of results will be known only after the extraction.

You can use “Total places limit” to limit the final amount of results scraped.

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

You will pay only for the results you extract, no matter how many queries you make.

Nie. Nie ma żadnych publicznych informacji na temat e-maili związanych z wpisem na Mapach Google. Outscraper korzysta z zewnętrznych źródeł, aby znaleźć te e-maile.

Tak. Możesz użyć filtrów z parametrów zaawansowanych z następującym operatorem.

You can split your tasks by city/state or some other unique attributes. For example, you can extract places from New York in the first task and places from California in the second task.

Skontaktuj się z nami

Pytania, specjalne potrzeby, problemy... Zawsze chętnie słyszę od Ciebie.