Outscraper F.A.Q.

Algemeen

Scraping, harvesting of extracting is een proces waarbij alle informatie van een openbare site wordt gehaald. Het automatiseert het handmatig exporteren van de gegevens.

The scraping and extracting of public data is protected by the First Amendment of the United States Constitution. The Ninth Circuit Court of Appeals ruled that automated scraping of publicly accessible data does not violate the Computer Fraud and Abuse Act (CFAA). Although, you should seek the counsel of an attorney on your specific matter to comply with the laws in your jurisdiction.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

We halen alleen publiek beschikbare gegevens op, en de scraper werkt als een browser voor data scientist, ontwikkelaars en marketeers.

Het mechanisme om PII-vrije gegevens te garanderen is te selecteren welke kolommen u wilt retourneren.

Betalingen en abonnementen

The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.

Free Tier is de hoeveelheid gebruik die u elke maand gratis kunt gebruiken. Bijvoorbeeld, product X heeft een Free Tier met 500 aanvragen per maand. Dit betekent dat elk gebruik van het product onder de 500 aanvragen per maand gratis is.

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

In the event that you’re not able to make a payment within 3 days the system will try to charge you automatically.

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. Enter the number of credits you want to add.
  4. Choose the payment method you want to use in order to add credits (credit card, PayPal, etc.).
  5. After clicking the button with your payment method, follow the steps of the payment method provider.

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

Once you add credits to your account (prepaid option), you will receive the receipt for the transaction by email.

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

Ja. Outscraper zal uw saldo voor $10 in rekening brengen en een extra factuur uitschrijven met het verschuldigde bedrag.

Ja.

Nee. De taak zal worden afgewerkt en als het verbruik van de taak groter is dan uw rekeningkrediet, ontvangt u gewoon een factuur met het uitstaande verbruik.

U kunt limieten gebruiken om de hoeveelheid geëxtraheerde gegevens te beperken.

  1. Open Outscraper Platform.
  2. Navigeer naar de Billing Information page.
  3. Enter the necessary billing information you want to see on your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

Navigeer naar profielpagina->API token om een nieuwe sleutel aan te maken.

De gemiddelde reactietijd is 3-5 seconden. Maar het kan afhangen van het type dienst (snelheid geoptimaliseerd of niet) en het aantal verzoeken per verzoek (batch-optie).

Er zijn een paar belangrijke punten die u in acht moet nemen om de verwerkingscapaciteit van de API te verhogen.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Gebruik batching om tot 25 query's per verzoek te verzenden (bijv. query=text1&query=text2&query=text3). Hierdoor kunnen meerdere query's in één verzoek worden verzonden en wordt netwerklatentie bespaard.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways to handle timeouts.

  1. Gebruik retries. Verwacht dat een aantal schraapverzoeken een fout of time-out kunnen opleveren. Meestal lost een nieuwe poging het probleem op.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Google Maps-krabber

Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.

Outscraper biedt u twee hulpmiddelen die u kunt gebruiken om deze categorieën te elimineren.

  1. De categorie oriëntatiepunten op Google Maps

    Gebruik de "exacte match” checkbox. The parameter specifies whether to return only the categories you selected or everything that Google shows. Make sure you are using the right categories by opening similar places on Google and checking the category.

  2. De resultaten filteren

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

In sommige gevallen zijn voorgedefinieerde locaties en/of categorieën niet voldoende. Gebruik de opties "Aangepaste locaties" en/of "Aangepaste categorieën" om de categorieën en/of locaties in te voegen die u nodig hebt.

Er is een beperking van Google Maps die slechts tot 400-500 plaatsen per zoekopdracht toont. Dit kan een probleem zijn als er meer bedrijven in één categorie zijn. Bijvoorbeeld, voor query "restaurants, Brooklyn".

. Om dit te verhelpen stellen wij voor de locatie op te splitsen in sub-locaties. Bijvoorbeeld door het gebruik van postcodes:
"restaurants, Brooklyn 11203",
"restaurants, Brooklyn 11211",
"restaurants, Brooklyn 11215",

…

Or using queries with sub-categories:

"Aziatische restaurants, Brooklyn",

"Italiaanse restaurants, Brooklyn",

"Mexicaanse restaurants, Brooklyn",

…

Check the “Use queries” switcher and enter the queries.

Om Google te dwingen alleen naar bepaalde bedrijven te zoeken, zet u de term tussen aanhalingstekens " ". De ” “ De operator wordt meestal gebruikt rond stopwoorden (woorden die Google anders zou negeren) of wanneer u wilt dat Google alleen die pagina's retourneert die precies met uw zoektermen overeenkomen.

Na het klikken op de knop "Gegevens uitpakken..." ziet u de taakraming en de zoekopdrachten.

Het is aanbevolen om een paar zoekopdrachten aan te klikken en te openen om te zien hoe het er op de site van Google Maps uitziet.

Er zijn twee dingen die u in acht moet nemen om het verwachte aantal resultaten te controleren. 1.

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

Er zijn 6 zoekopdrachten die de bot zal uitvoeren om de gegevens uit 2 categorieën en 3 locaties te halen.

Daarom zal het resultaat niet meer dan 480 organisaties zijn (limiet van 80 * 6 zoekopdrachten).

U kunt duplicaten in één taak verwijderen door het selectievakje "Duplicaten verwijderen" in te schakelen.

Ja, u kunt duplicaten binnen één taak laten vallen door het selectievakje "Drop duplicates" (geavanceerde parameters) te gebruiken. U kunt ze ook zelf laten vallen door de velden "google_id" of "place_id" te gebruiken als unieke identificatiecodes voor een plaats.

The exact number of results will be known only after the extraction.

You can use “Total places limit” to limit the final amount of results scraped.

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

You will pay only for the results you extract, no matter how many queries you make.

Nee. Er is geen openbare informatie over e-mails in verband met de vermelding op Google Maps. Outscraper gebruikt externe bronnen om die e-mails te vinden.

Ja. U kunt filters van de geavanceerde parameters gebruiken met de volgende operator.

U kunt uw taken opsplitsen per stad/staat of per andere unieke kenmerken. U kunt bijvoorbeeld plaatsen uit New York extraheren in de eerste taak, en de plaatsen uit Californië in de tweede taak.

Contacteer ons

Vragen, speciale behoeften, problemen... Altijd blij van je te horen.