Outscraper F.A.Q.

Algemeen

Scraping, harvesting of extracting is een proces waarbij alle informatie van een openbare site wordt gehaald. Het automatiseert het handmatig exporteren van de gegevens.
Het schrapen en extraheren van openbare gegevens wordt beschermd door het Eerste Amendement van de Grondwet van de Verenigde Staten. Het Ninth Circuit Court of Appeals oordeelde dat het geautomatiseerd schrapen van openbaar toegankelijke gegevens niet in strijd is met de Computer Fraud and Abuse Act (CFAA). U dient echter het advies van een advocaat in te winnen over uw specifieke zaak om te voldoen aan de wetten in uw rechtsgebied.
Kassa API-documenten of bezoek GitHub pagina om te zien hoe u diensten kunt integreren met uw code. Bekijk de blog.
U kunt meldingen uitschakelen op de profielpagina.
We halen alleen publiek beschikbare gegevens op, en de scraper werkt als een browser voor data scientist, ontwikkelaars en marketeers. Het mechanisme om PII-vrije gegevens te garanderen is te selecteren welke kolommen u wilt retourneren.

Betalingen en abonnementen

De factuur wordt gegenereerd op basis van het gebruik van de diensten tijdens de facturering periode (30 dagen). De prijzen staan vermeld op de pagina.
Free Tier is de hoeveelheid gebruik die u elke maand gratis kunt gebruiken. Bijvoorbeeld, product X heeft een Free Tier met 500 aanvragen per maand. Dit betekent dat elk gebruik van het product onder de 500 aanvragen per maand gratis is.
Wanneer een abonnement wordt afgesloten, ontvangt u een factuur voor het gebruik van de diensten tijdens de abonnementsperiode. Als u niet binnen 3 dagen kunt betalen, zal het systeem proberen u automatisch te laten betalen.
Zodra u wat verbruikt hebt, kunt u de komende factuur zien op de profielpagina. Zodra u het verschuldigde bedrag hebt, kunt u de factuur handmatig genereren door te klikken op "Factuur genereren" of hij wordt automatisch gegenereerd binnen 30 dagen.
Zodra u credits toevoegt aan uw account (prepaid optie) ontvangt u het ontvangstbewijs voor de transactie per e-mail. Facturen met het gebruik van specifieke diensten worden na elke factureringsperiode (30 dagen) gegenereerd. U kunt de factuur ook handmatig genereren door op "Factuur genereren" te klikken op de profielpagina.

Ja. Outscraper zal uw saldo voor $10 in rekening brengen en een extra factuur uitschrijven met het verschuldigde bedrag.

Ja.

Nee. De taak zal worden afgewerkt en als het verbruik van de taak groter is dan uw rekeningkrediet, ontvangt u gewoon een factuur met het uitstaande verbruik.

U kunt limieten gebruiken om de hoeveelheid geëxtraheerde gegevens te beperken.

  1. Open Outscraper Platform.
  2. Navigeer naar Billing Information page.
  3. Enter the necessary billing information you want to see in your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

API

De limiet van query's per seconde hangt af van de aard van de verzoeken, de dienst en de verzoekparameters (hoeveelheid resultaten, hoeveelheid query's, enz.). De gemiddelde QPS is ongeveer 20 (zachte limiet). Echter, Outscraper kan schalen volgens uw behoeften. Gelieve contact opnemen met het team voor het geval je een hogere QPS nodig hebt.

Ja. API ondersteunt batching door arrays met maximaal 25 zoekopdrachten (bijv, query=tekst1&query=tekst2&query=tekst3). Hiermee kunnen meerdere query's in één verzoek worden verzonden en kan netwerklatentie worden bespaard.

Navigeer naar de API gebruiksgeschiedenis pagina om je laatste verzoeken te zien.

Navigeer naar profielpagina->API token om een nieuwe sleutel aan te maken.

De gemiddelde reactietijd is 3-5 seconden. Maar het kan afhangen van het type dienst (snelheid geoptimaliseerd of niet) en het aantal verzoeken per verzoek (batch-optie).

Er zijn een paar belangrijke punten die u in acht moet nemen om de verwerkingscapaciteit van de API te verhogen.

  1. Zorg ervoor dat u de laatste versies van de API-eindpunten gebruikt. Gebruik bijvoorbeeld liever Plaatsen API V2  in plaats van Plaatsen API V1. Bij gebruik van SDK wordt standaard de laatste versie van de API gebruikt (bijv. google_maps_search()).
  2. Gebruik batching om tot 25 query's per verzoek te verzenden (bijv. query=text1&query=text2&query=text3). Hierdoor kunnen meerdere query's in één verzoek worden verzonden en wordt netwerklatentie bespaard.
  3. Verzoeken parallel uitvoeren. Controleer dit voorbeeld.
  4. Gebruik een webhook om resultaten op te halen zodra het klaar is.

Sommige taken kunnen tijd kosten om de gegevens te extraheren. Er zijn een paar manieren om met time-outs om te gaan.

  1. Gebruik retries. Verwacht dat een aantal schraapverzoeken een fout of time-out kunnen opleveren. Meestal lost een nieuwe poging het probleem op.
  2. Gebruik async verzoeken. Een goede praktijk is om async verzoeken te sturen en de resultaten te controleren na de geschatte uitvoeringstijd. Uitchecken deze Python-implementatie als voorbeeld.
  3. Gebruik een webhook om resultaten op te halen zodra het klaar is.

Google Maps-krabber

Soms voegt Google andere categorieën toe aan uw zoekopdrachten. Bijvoorbeeld, als u zoekt naar restaurants zie je misschien bars, koffie winkelsof zelfs hotels. Dit kan leiden tot irrelevante gegevens, vooral wanneer u enkele kleine categorieën gebruikt zoals zwembaden.

Outscraper biedt u twee hulpmiddelen die u kunt gebruiken om deze categorieën te elimineren.

  1. De categorie oriëntatiepunten op Google Maps

    Gebruik de "exacte match" selectievakje. De parameter geeft aan of alleen de door u geselecteerde categorieën of alles wat Google toont moeten worden teruggegeven. Controleer of u de juiste categorieën gebruikt door soortgelijke plaatsen op google te openen en de categorie aan te vinken.

  2. De resultaten filteren

    Filter de resultaten door toepassing van Filters naar de kolom met subtypes. Dergelijke filters kunnen alle irrelevante gegevens elimineren en u alleen teruggeven wat u nodig hebt. Om lege resultaten te voorkomen, moet u de waarden van de velden kennen voordat u de filters gebruikt.

In sommige gevallen zijn voorgedefinieerde locaties en/of categorieën niet voldoende. Gebruik de opties "Aangepaste locaties" en/of "Aangepaste categorieën" om de categorieën en/of locaties in te voegen die u nodig hebt.
Er is een beperking van Google Maps die slechts tot 400-500 plaatsen per zoekopdracht toont. Dit kan een probleem zijn als er meer bedrijven in één categorie zijn. Bijvoorbeeld, voor query "restaurants, Brooklyn". Om dit te verhelpen stellen wij voor de locatie op te splitsen in sub-locaties. Bijvoorbeeld door het gebruik van postcodes: "restaurants, Brooklyn 11203", "restaurants, Brooklyn 11211", "restaurants, Brooklyn 11215", ... Of met queries met subcategorieën: "Aziatische restaurants, Brooklyn", "Italiaanse restaurants, Brooklyn", "Mexicaanse restaurants, Brooklyn", …
Vink "Gebruik zoekopdrachten" aan en voer de zoekopdrachten in.
Om Google te dwingen alleen naar bepaalde bedrijven te zoeken, zet u de term tussen aanhalingstekens " ". De ” “ De operator wordt meestal gebruikt rond stopwoorden (woorden die Google anders zou negeren) of wanneer u wilt dat Google alleen die pagina's retourneert die precies met uw zoektermen overeenkomen.
Na het klikken op de knop "Gegevens uitpakken..." ziet u de taakraming en de zoekopdrachten. Het is aanbevolen om een paar zoekopdrachten aan te klikken en te openen om te zien hoe het er op de site van Google Maps uitziet.
Er zijn twee dingen die u in acht moet nemen om het verwachte aantal resultaten te controleren. 1. Maximum aantal organisaties per zoekopdracht - de limiet van organisaties die uit één query kunnen worden genomen. 2. Aantal vragen - de hoeveelheid zoekopdrachten die je gaat doen. Er zijn 6 zoekopdrachten die de bot zal uitvoeren om de gegevens uit 2 categorieën en 3 locaties te halen. Daarom zal het resultaat niet meer dan 480 organisaties zijn (limiet van 80 * 6 zoekopdrachten).

U kunt duplicaten in één taak verwijderen door het selectievakje "Duplicaten verwijderen" in te schakelen.

Ja, u kunt duplicaten binnen één taak laten vallen door het selectievakje "Drop duplicates" (geavanceerde parameters) te gebruiken. U kunt ze ook zelf laten vallen door de velden "google_id" of "place_id" te gebruiken als unieke identificatiecodes voor een plaats.

Het exacte aantal resultaten is pas bekend na de extractie. U kunt "Limiet aantal plaatsen" gebruiken om het uiteindelijke aantal afgeschraapte resultaten te beperken.
Ja. U kunt de volgende link gebruiken als zoekopdracht "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" waar u een zoekopdracht kunt opgeven (real+estate+agentschap), de coördinaten (41.4034,2.1718413) en het zoomniveau (17z). U kunt deze waarden vinden tijdens een bezoek aan Google Maps. U kunt ook de parameter "coördinaten" gebruiken als u gebruik maakt van API.
Ja. Je kunt E-mails en contacten schraper samen met Google Maps scraper om de gegevens van Google te verrijken. Selecteer daarvoor "E-mails & Contacts Scraper" in de sectie "Verrijken met andere diensten" op het Google Maps Scraper pagina.
U betaalt alleen voor de resultaten die u hebt geëxtraheerd, ongeacht het aantal zoekopdrachten.

Nee. Er is geen openbare informatie over e-mails in verband met de vermelding op Google Maps. Outscraper gebruikt externe bronnen om die e-mails te vinden.

Ja. U kunt filters van de geavanceerde parameters gebruiken met de volgende operator.

U kunt uw taken opsplitsen per stad/staat of per andere unieke kenmerken. U kunt bijvoorbeeld plaatsen uit New York extraheren in de eerste taak, en de plaatsen uit Californië in de tweede taak.

Contacteer ons

Vragen, speciale behoeften, problemen... Altijd blij van je te horen.