Häufig gestellte Fragen zu Outscraper

Allgemein

Scraping, Harvesting oder Extraction ist ein Prozess, bei dem alle Informationen von einer öffentlichen Website abgerufen werden. Es automatisiert den manuellen Export der Daten.

Das Auslesen und Extrahieren von öffentlichen Daten ist durch den ersten Zusatzartikel der Verfassung der Vereinigten Staaten geschützt. Das Berufungsgericht des Neunten Bezirks entschied, dass das automatisierte Scraping von öffentlich zugänglichen Daten nicht gegen den Computer Fraud and Abuse Act (CFAA) verstößt. Dennoch sollten Sie sich in Ihrer speziellen Angelegenheit von einem Anwalt beraten lassen, um die Gesetze in Ihrer Gerichtsbarkeit einzuhalten.

Jeder Scraping-Vorgang wird in der Cloud ausgeführt. Ihre IP-Adresse ist von dem Scraping nicht betroffen.

Schauen Sie sich die API-Dokumentation an oder besuchen Sie die GitHub-Seite, um Insider-Tipps zur Integration von Diensten in Ihren Code zu erhalten. Werfen Sie einen Blick auf den Blog.

Du kannst Benachrichtigungen auf der Profilseite deaktivieren.

Wir extrahieren nur öffentlich zugängliche Daten, und der Scraper funktioniert als Browser für Datenwissenschaftler, Entwickler und Vermarkter.

Der Mechanismus zur Gewährleistung von PII-freien Daten besteht darin, dass Sie auswählen, welche Spalten Sie zurückgeben möchten.

Nein. Alle Scraping-Vorgänge finden auf Outscraper-Servern statt, wodurch sichergestellt ist, dass Ihre IP-Adresse nicht für das Data Scraping verwendet wird. Das bedeutet auch, dass Ihr Computer ausgeschaltet sein kann, während die Extraktionsaufgaben laufen.

Zahlungen und Abonnements

Die Rechnung wird auf Grundlage der Nutzung von den Diensten während des Abrechnungszeitraums (30 Tage) erstellt. Die Preise sind auf der Seite aufgeführt.

Free Tier ist die Menge der Nutzung, die Sie jeden Monat kostenlos nutzen können. Für einige Produkte gibt es zum Beispiel ein Free Tier mit 500 Anfragen pro Monat. Das bedeutet, dass jede Nutzung des Produkts unter 500 Anfragen während eines Monats kostenlos ist.

Sobald ein Abonnement abgeschlossen ist, erhalten Sie eine Rechnung über die Nutzung der Dienste während der Laufzeit des Abonnements.

Sollten Sie nicht in der Lage sein, innerhalb von 3 Tagen eine Zahlung zu leisten, wird das System versuchen, Sie automatisch zu belasten.

  1. Bevor Sie Guthaben hinzufügen, stellen Sie bitte sicher, dass Sie Ihre Daten auf der Seite mit den Rechnungsdaten eingegeben haben (falls Sie diese für Rechnungen oder Bestellungen benötigen).
  2. Gehen Sie zu Ihrer Profilseite.
  3. Geben Sie die Anzahl der Credits ein, die Sie hinzufügen möchten.
  4. Wählen Sie die Zahlungsmethode aus, die Sie zum Hinzufügen von Guthaben verwenden möchten (Kreditkarte, PayPal usw.).
  5. Nachdem Sie auf die Schaltfläche mit Ihrer Zahlungsmethode geklickt haben, folgen Sie den Schritten des Anbieters der Zahlungsmethode.

Sobald Sie eine gewisse Nutzung vorweisen können, können Sie die anstehende Rechnung auf der Profilseite einsehen. Sobald der fällige Betrag feststeht, können Sie die Rechnung manuell erstellen, indem Sie auf “Rechnung erstellen” klicken, oder sie wird innerhalb von 30 Tagen automatisch generiert.

Sobald Sie Guthaben auf Ihr Konto geladen haben (Prepaid-Option), erhalten Sie die Quittung für die Transaktion per E-Mail.

Rechnungen über die Inanspruchnahme bestimmter Dienste werden nach jedem Abrechnungszeitraum (30 Tage) erstellt. Alternativ können Sie, sobald Ihnen der fällige Betrag vorliegt, die Rechnung manuell erstellen, indem Sie auf der Profilseite auf "Rechnung erstellen" klicken.

Ja. Outscraper wird Ihren Kontostand mit $10 belasten und eine zusätzliche Rechnung über den fälligen Betrag ausstellen.

Ja.

Nein. Die Aufgabe wird abgeschlossen, und wenn die Nutzung der Aufgabe Ihr Guthaben übersteigt, erhalten Sie einfach eine Rechnung über die ausstehende Nutzung.

Sie können Limits verwenden, um die Menge der extrahierten Daten zu begrenzen.

  1. Öffnen Sie die Outscraper-Plattform.
  2. Navigieren Sie zum Seite mit Informationen zur Rechnungsstellung.
  3. Geben Sie die erforderlichen Rechnungsdaten ein, die Sie auf Ihren Rechnungen sehen möchten.
  4. Klicken Sie auf die Schaltfläche Speichern. Alle zukünftigen Rechnungen werden mit den von Ihnen eingegebenen Informationen erstellt.

Empfehlen Sie einen Freund und erhalten Sie ab sofort 35% Ihrer Empfehlungsprovisionen auf Ihr Kontoguthaben gutgeschrieben. Ihre Empfehlung erhält eine 25% Rabatt auf ihre erste Zahlung. Holen Sie sich jetzt Ihren Empfehlungslink.

API

Die Obergrenze für Abfragen (Anfragen) pro Sekunde hängt von der Art der Anfragen, dem Dienst und den Anfrageparametern (Anzahl der Ergebnisse, Anzahl der Abfragen usw.) ab. Die durchschnittliche QPS liegt bei etwa 20 (weiche Obergrenze). Outscraper lässt sich jedoch an Ihre Bedürfnisse anpassen. Bitte Kontakt mit dem Team für den Fall, dass Sie eine höhere QPS benötigen.

Ja. Die API unterstützt die Batch-Verarbeitung durch das Senden von Arrays mit bis zu 25 Abfragen (z. B. query=text1&query=text2&query=text3). Dadurch können mehrere Abfragen in einer einzigen Anfrage gesendet werden, was Netzwerk-Latenzzeiten reduziert.

Rufen Sie die Seite „API-Nutzungsverlauf“ auf, um Ihre letzten Anfragen anzuzeigen.

Navigieren Sie zu Profilseite->API-Token, um einen neuen Schlüssel zu erstellen.

Die durchschnittliche Antwortzeit beträgt 3-5 Sekunden. Sie kann jedoch von der Art des Dienstes (geschwindigkeitsoptimiert oder nicht) und der Anzahl der Abfragen pro Anfrage (Batch-Option) abhängen.

Befolgen Sie diese bewährten Vorgehensweisen, um die Leistung und den Durchsatz der API zu verbessern.
  1. Verwenden Sie Batching, um mehrere Abfragen in einer einzigen Anfrage zu senden (zum Beispiel: query=text1&query=text2&query=text3).
  2. Verwenden async=true (Standard), um Aufgaben zu übermitteln, ohne die HTTP-Verbindung offen zu halten. Dies hilft, Zeitüberschreitungen zu vermeiden, und ermöglicht es Ihnen, viele Anfragen effizient in die Warteschlange zu stellen. In Kombination mit einem Webhook können Sie so Aufgaben in großen Mengen übermitteln und die Ergebnisse automatisch erhalten, sobald sie bereitstehen.
  3. Führen Sie Anfragen parallel aus, um den Durchsatz zu maximieren. Schauen Sie sich das an dieses Beispiel.
  4. Verwenden Sie eine Webhook um die Ergebnisse abzurufen, sobald sie vorliegen.

Bei einigen Aufgaben kann die Extraktion der Daten einige Zeit in Anspruch nehmen. Es gibt einige Möglichkeiten, mit Zeitüberschreitungen umzugehen.

  1. Wiederholungen verwenden. Rechnen Sie damit, dass bei einer bestimmten Anzahl von Scraping-Anfragen ein Fehler oder eine Zeitüberschreitung auftreten kann. In der Regel wird das Problem durch einen weiteren Versuch gelöst.
  2. Verwenden Sie asynchrone Anfragen. Es hat sich bewährt, asynchrone Anfragen zu senden und erst nach Ablauf der geschätzten Ausführungszeit mit der Überprüfung der Ergebnisse zu beginnen. Sehen Sie sich diese Python-Implementierung als Beispiel an.
  3. Verwenden Sie einen Webhook, um die Ergebnisse abzurufen, sobald diese bereitstehen.

Google Maps-Schaber

Manchmal fügt Google Ihren Suchanfragen weitere Kategorien hinzu. Wenn Sie beispielsweise nach Restaurants suchen, werden möglicherweise Bars, Cafés, Geschäfte oder sogar Hotels angezeigt. Dies kann zu irrelevanten Ergebnissen führen, insbesondere wenn Sie untergeordnete Kategorien wie Schwimmbäder verwenden.

Outscraper bietet Ihnen zwei Tools, mit denen Sie diese Kategorien eliminieren können.

  1. Die Kategorie Wahrzeichen auf Google Maps

    Verwenden Sie die "genaue Übereinstimmung" ankreuzen. Der Parameter gibt an, ob nur die von Ihnen ausgewählten Kategorien oder alles, was Google anzeigt, zurückgegeben werden soll. Stellen Sie sicher, dass Sie die richtigen Kategorien verwenden, indem Sie ähnliche Orte in Google öffnen und die Kategorie überprüfen.

  2. Filterung der Ergebnisse

    Filtern Sie die Ergebnisse, indem Sie Filter auf die Spalte „Subtypen“ an. Mit solchen Filtern lassen sich alle irrelevanten Daten aussortieren und nur die gewünschten Ergebnisse zurückgeben. Um leere Ergebnisse zu vermeiden, sollten Sie sich vor der Verwendung der Filter mit den Werten der Felder vertraut machen.

Es gibt Fälle, in denen vordefinierte Orte oder/und Kategorien nicht ausreichen. Verwenden Sie die Optionen „Benutzerdefinierte Standorte“ oder/und „Benutzerdefinierte Kategorien“, um die gewünschten Kategorien oder/und Standorte einzufügen.

Es gibt eine Beschränkung in Google Maps, die nur bis zu 400-500 Orte für eine Suchanfrage anzeigt. Dies kann ein Problem sein, wenn es mehrere Unternehmen in einer Kategorie gibt. Zum Beispiel für die Abfrage “Restaurants, Brooklyn”.

Um dies zu vermeiden, schlagen wir vor, den Ort in Unterorte aufzuteilen. Zum Beispiel durch die Verwendung von Postleitzahlen:
“Restaurants, Brooklyn 11203”,
“Restaurants, Brooklyn 11211”,
”Restaurants, Brooklyn” 11215”,

…

Oder verwenden Sie Abfragen mit Unterkategorien:

“Asiatische Restaurants, Brooklyn”,

“Italienische Restaurants, Brooklyn”,

“Mexikanische Restaurants, Brooklyn”,

…

Aktivieren Sie das Kontrollkästchen "Abfragen verwenden" und geben Sie die Abfragen ein.

Um Google zu zwingen, nur nach bestimmten Unternehmen zu suchen, schließen Sie den Begriff in Anführungszeichen ” “ ein. Die ” “ Der Operator wird normalerweise bei Stoppwörtern verwendet (Wörter, die Google ansonsten ignorieren würde) oder wenn Sie möchten, dass Google nur die Seiten zurückgibt, die genau Ihren Suchbegriffen entsprechen.

Nach Anklicken des Buttons „Daten extrahieren…“ sehen Sie die Aufgabenschätzung und die Abfragen.

Es wird empfohlen, darauf zu klicken und einige Abfragen zu öffnen, um zu überprüfen, wie es auf der Google Maps-Site aussieht.

Es gibt zwei Dinge, die Sie beachten sollten, um die erwartete Anzahl von Ergebnissen zu kontrollieren.

1. Begrenzung der Anzahl der Organisationen pro Abfrage – die maximale Anzahl an Organisationen, die pro Abfrage abgerufen werden können.

2. Anzahl der Suchanfragen – die Anzahl der Suchanfragen, die Sie durchführen werden.

Es gibt 6 Abfragen, die der Bot ausführt, um die Daten aus 2 Kategorien und 3 Orten zu extrahieren.

Daher wird die resultierende Menge nicht mehr als 480 Organisationen betragen (Limit von 80 * 6 Abfragen).

Sie können Duplikate in einer Aufgabe entfernen, indem Sie das Kontrollkästchen "Duplikate löschen" aktivieren.

Ja, Sie können Duplikate innerhalb einer Aufgabe löschen, indem Sie das Kontrollkästchen "Duplikate löschen" (erweiterte Parameter) verwenden. Alternativ können Sie sie auch selbst löschen, indem Sie die Felder "google_id" oder "place_id" als eindeutige Bezeichner für einen Ort verwenden.

Die genaue Anzahl der Ergebnisse wird erst nach der Extraktion bekannt.

Sie können "Begrenzung der Gesamtplätze" verwenden, um die endgültige Anzahl der Ergebnisse zu begrenzen.

Ja. Sie können den folgenden Link als Suchanfrage verwenden: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z”, wobei Sie eine Suchanfrage (real+estate+agency), die Koordinaten (41.4034,2.1718413) und die Zoomstufe (17z) angeben können. Diese Werte können Sie beim Besuch von Google Maps ermitteln.

Alternativ können Sie den Parameter “coordinates” verwenden, wenn Sie die API verwenden.

Ja. Sie können Emails & Contacts Scraper zusammen mit Google Maps Scraper verwenden, um die Daten von Google anzureichern. Wählen Sie dazu auf der Seite Google Maps Scraper im Abschnitt "Anreicherung durch andere Dienste" die Option "Emails & Contacts Scraper".

Sie zahlen nur für die Ergebnisse, die Sie extrahieren, unabhängig davon, wie viele Abfragen Sie machen.

Nein. Es gibt keine öffentlichen Informationen über E-Mails, die mit dem Eintrag auf Google Maps verbunden sind. Outscraper verwendet externe Quellen, um diese E-Mails zu finden.

Ja, Sie können Filter aus den erweiterten Parametern mit dem folgenden Operator verwenden.

Sie können Ihre Aufgaben nach Stadt/Bundesstaat oder anderen eindeutigen Attributen aufteilen. So können Sie zum Beispiel in der ersten Aufgabe Orte aus New York und in der zweiten Aufgabe Orte aus Kalifornien extrahieren.

Ja. Um Unternehmen zu finden, dieUm nach Unternehmen ohne Website zu suchen, können Sie unsere erweiterten Suchfilter nutzen. Wählen Sie das Feld ‘Website’ aus und stellen Sie es auf ‘ist leer’ ein. So werden Ihnen Unternehmen angezeigt, die keine Website haben. Wenn Sie Unternehmen mit Websites sehen möchten, stellen Sie das Feld ‘Website’ stattdessen auf ‘ist nicht leer’ ein.

Weitere Informationen zu Filtern finden Sie in diesem Artikel: https://outscraper.com/google-maps-data-scraper-filters/

Kontaktiere uns

Benötigen Sie Hilfe bei Outscraper-Produkten? Wir geben dir die Hilfe die du brauchst