Häufig gestellte Fragen zu Outscraper

Allgemein

Scraping, Harvesting oder Extrahieren ist der Prozess, bei dem alle Informationen von einer öffentlichen Website abgerufen werden. Es automatisiert das manuelle Exportieren der Daten.

Das Auslesen und Extrahieren von öffentlichen Daten ist durch den ersten Zusatzartikel der Verfassung der Vereinigten Staaten geschützt. Das Berufungsgericht des Neunten Bezirks entschied, dass das automatisierte Scraping von öffentlich zugänglichen Daten nicht gegen den Computer Fraud and Abuse Act (CFAA) verstößt. Dennoch sollten Sie sich in Ihrer speziellen Angelegenheit von einem Anwalt beraten lassen, um die Gesetze in Ihrer Gerichtsbarkeit einzuhalten.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

Wir extrahieren nur öffentlich zugängliche Daten, und der Scraper funktioniert als Browser für Datenwissenschaftler, Entwickler und Vermarkter.

Der Mechanismus zur Gewährleistung von PII-freien Daten besteht darin, dass Sie auswählen, welche Spalten Sie zurückgeben möchten.

Zahlungen und Abonnements

The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.

Free Tier ist die Menge der Nutzung, die Sie jeden Monat kostenlos nutzen können. Für einige Produkte gibt es zum Beispiel ein Free Tier mit 500 Anfragen pro Monat. Das bedeutet, dass jede Nutzung des Produkts unter 500 Anfragen während eines Monats kostenlos ist.

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

Sollten Sie nicht in der Lage sein, innerhalb von 3 Tagen eine Zahlung zu leisten, wird das System versuchen, Sie automatisch zu belasten.

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. Geben Sie die Anzahl der Credits ein, die Sie hinzufügen möchten.
  4. Wählen Sie die Zahlungsmethode aus, die Sie zum Hinzufügen von Guthaben verwenden möchten (Kreditkarte, PayPal usw.).
  5. Nachdem Sie auf die Schaltfläche mit Ihrer Zahlungsmethode geklickt haben, folgen Sie den Schritten des Anbieters der Zahlungsmethode.

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

Sobald Sie Guthaben auf Ihr Konto geladen haben (Prepaid-Option), erhalten Sie die Quittung für die Transaktion per E-Mail.

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

Ja. Outscraper wird Ihren Kontostand mit $10 belasten und eine zusätzliche Rechnung über den fälligen Betrag ausstellen.

Ja.

Nein. Die Aufgabe wird abgeschlossen, und wenn die Nutzung der Aufgabe Ihr Guthaben übersteigt, erhalten Sie einfach eine Rechnung über die ausstehende Nutzung.

Sie können Limits verwenden, um die Menge der extrahierten Daten zu begrenzen.

  1. Open Outscraper Platform.
  2. Navigieren Sie zum Seite mit Informationen zur Rechnungsstellung.
  3. Geben Sie die erforderlichen Rechnungsdaten ein, die Sie auf Ihren Rechnungen sehen möchten.
  4. Klicken Sie auf die Schaltfläche Speichern. Alle zukünftigen Rechnungen werden mit den von Ihnen eingegebenen Informationen erstellt.

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

Navigieren Sie zu Profilseite->API-Token, um einen neuen Schlüssel zu erstellen.

Die durchschnittliche Antwortzeit beträgt 3-5 Sekunden. Sie kann jedoch von der Art des Dienstes (geschwindigkeitsoptimiert oder nicht) und der Anzahl der Abfragen pro Anfrage (Batch-Option) abhängen.

Es gibt einige wichtige Punkte, die Sie beachten sollten, um den Durchsatz der API zu erhöhen.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Verwenden Sie die Stapelverarbeitung, um bis zu 25 Abfragen in einer Anfrage zu senden (z. B. query=text1&query=text2&query=text3). Auf diese Weise können mehrere Abfragen in einer Anfrage gesendet werden, was die Netzwerklatenzzeit verkürzt.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Bei einigen Aufgaben kann die Extraktion der Daten einige Zeit in Anspruch nehmen. Es gibt einige Möglichkeiten, mit Zeitüberschreitungen umzugehen.

  1. Wiederholungen verwenden. Rechnen Sie damit, dass bei einer bestimmten Anzahl von Scraping-Anfragen ein Fehler oder eine Zeitüberschreitung auftreten kann. In der Regel wird das Problem durch einen weiteren Versuch gelöst.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Google Maps-Schaber

Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.

Outscraper bietet Ihnen zwei Tools, mit denen Sie diese Kategorien eliminieren können.

  1. Die Kategorie Wahrzeichen auf Google Maps

    Verwenden Sie die "genaue Übereinstimmung" ankreuzen. Der Parameter gibt an, ob nur die von Ihnen ausgewählten Kategorien oder alles, was Google anzeigt, zurückgegeben werden soll. Stellen Sie sicher, dass Sie die richtigen Kategorien verwenden, indem Sie ähnliche Orte in Google öffnen und die Kategorie überprüfen.

  2. Filterung der Ergebnisse

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

Es gibt Fälle, in denen vordefinierte Orte oder/und Kategorien nicht ausreichen. Verwenden Sie die Optionen „Benutzerdefinierte Standorte“ oder/und „Benutzerdefinierte Kategorien“, um die gewünschten Kategorien oder/und Standorte einzufügen.

Es gibt eine Beschränkung in Google Maps, die nur bis zu 400-500 Orte für eine Suchanfrage anzeigt. Dies kann ein Problem sein, wenn es mehrere Unternehmen in einer Kategorie gibt. Zum Beispiel für die Abfrage “Restaurants, Brooklyn”.

Um dies zu vermeiden, schlagen wir vor, den Ort in Unterorte aufzuteilen. Zum Beispiel durch die Verwendung von Postleitzahlen:
“Restaurants, Brooklyn 11203”,
“Restaurants, Brooklyn 11211”,
”Restaurants, Brooklyn” 11215”,

…

Oder verwenden Sie Abfragen mit Unterkategorien:

“Asiatische Restaurants, Brooklyn”,

“Italienische Restaurants, Brooklyn”,

“Mexikanische Restaurants, Brooklyn”,

…

Aktivieren Sie das Kontrollkästchen "Abfragen verwenden" und geben Sie die Abfragen ein.

Um Google zu zwingen, nur nach bestimmten Unternehmen zu suchen, schließen Sie den Begriff in Anführungszeichen ” “ ein. Die ” “ Der Operator wird normalerweise bei Stoppwörtern verwendet (Wörter, die Google ansonsten ignorieren würde) oder wenn Sie möchten, dass Google nur die Seiten zurückgibt, die genau Ihren Suchbegriffen entsprechen.

Nach Anklicken des Buttons „Daten extrahieren…“ sehen Sie die Aufgabenschätzung und die Abfragen.

Es wird empfohlen, darauf zu klicken und einige Abfragen zu öffnen, um zu überprüfen, wie es auf der Google Maps-Site aussieht.

Es gibt zwei Dinge, die Sie beachten sollten, um die erwartete Anzahl von Ergebnissen zu kontrollieren.

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

Es gibt 6 Abfragen, die der Bot ausführt, um die Daten aus 2 Kategorien und 3 Orten zu extrahieren.

Daher wird die resultierende Menge nicht mehr als 480 Organisationen betragen (Limit von 80 * 6 Abfragen).

Sie können Duplikate in einer Aufgabe entfernen, indem Sie das Kontrollkästchen "Duplikate löschen" aktivieren.

Ja, Sie können Duplikate innerhalb einer Aufgabe löschen, indem Sie das Kontrollkästchen "Duplikate löschen" (erweiterte Parameter) verwenden. Alternativ können Sie sie auch selbst löschen, indem Sie die Felder "google_id" oder "place_id" als eindeutige Bezeichner für einen Ort verwenden.

Die genaue Anzahl der Ergebnisse wird erst nach der Extraktion bekannt.

Sie können "Begrenzung der Gesamtplätze" verwenden, um die endgültige Anzahl der Ergebnisse zu begrenzen.

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

Sie zahlen nur für die Ergebnisse, die Sie extrahieren, unabhängig davon, wie viele Abfragen Sie machen.

Nein. Es gibt keine öffentlichen Informationen über E-Mails, die mit dem Eintrag auf Google Maps verbunden sind. Outscraper verwendet externe Quellen, um diese E-Mails zu finden.

Ja, Sie können Filter aus den erweiterten Parametern mit dem folgenden Operator verwenden.

Sie können Ihre Aufgaben nach Stadt/Bundesstaat oder anderen eindeutigen Attributen aufteilen. So können Sie zum Beispiel in der ersten Aufgabe Orte aus New York und in der zweiten Aufgabe Orte aus Kalifornien extrahieren.

Kontaktiere uns

Fragen, spezielle Bedürfnisse, Probleme... Immer gerne von Ihnen zu hören.