Häufig gestellte Fragen zu Outscraper

Allgemein

Scraping, Harvesting oder Extrahieren ist der Prozess, bei dem alle Informationen von einer öffentlichen Website abgerufen werden. Es automatisiert das manuelle Exportieren der Daten.

Das Auslesen und Extrahieren von öffentlichen Daten ist durch den ersten Zusatzartikel der Verfassung der Vereinigten Staaten geschützt. Das Berufungsgericht des Neunten Bezirks entschied, dass das automatisierte Scraping von öffentlich zugänglichen Daten nicht gegen den Computer Fraud and Abuse Act (CFAA) verstößt. Dennoch sollten Sie sich in Ihrer speziellen Angelegenheit von einem Anwalt beraten lassen, um die Gesetze in Ihrer Gerichtsbarkeit einzuhalten.

Sehen Sie sich die API-Dokumente oder besuchen Sie die GitHub Seite, um Insider-Tipps zu erhalten, wie Sie Dienste in Ihren Code integrieren können. Sehen Sie sich die Blog.

Sie können die Benachrichtigungen auf der Seite Profilseite.

Wir extrahieren nur öffentlich zugängliche Daten, und der Scraper funktioniert als Browser für Datenwissenschaftler, Entwickler und Vermarkter.

Der Mechanismus zur Gewährleistung von PII-freien Daten besteht darin, dass Sie auswählen, welche Spalten Sie zurückgeben möchten.

Zahlungen und Abonnements

Die Rechnung wird basierend auf der Verwendung von . erstellt Die Dienste während der Abrechnung Zeitraum (30 Tage). Die Preise sind auf Die Seite.

Free Tier ist die Menge der Nutzung, die Sie jeden Monat kostenlos nutzen können. Für einige Produkte gibt es zum Beispiel ein Free Tier mit 500 Anfragen pro Monat. Das bedeutet, dass jede Nutzung des Produkts unter 500 Anfragen während eines Monats kostenlos ist.

Wenn ein Abonnement abgeschlossen ist, erhalten Sie eine Rechnung für die Nutzung von Die Dienste während der Abonnementlaufzeit.

Sollten Sie nicht in der Lage sein, innerhalb von 3 Tagen eine Zahlung zu leisten, wird das System versuchen, Sie automatisch zu belasten.

  1. Bevor Sie Guthaben hinzufügen, vergewissern Sie sich, dass Sie Ihre Daten unter die Seite mit den Abrechnungsinformationen (für den Fall, dass Sie sie in Rechnungen oder Bestellungen benötigen).
  2. Navigieren Sie zu Ihre Profilseite.
  3. Geben Sie die Anzahl der Credits ein, die Sie hinzufügen möchten.
  4. Wählen Sie die Zahlungsmethode aus, die Sie zum Hinzufügen von Guthaben verwenden möchten (Kreditkarte, PayPal usw.).
  5. Nachdem Sie auf die Schaltfläche mit Ihrer Zahlungsmethode geklickt haben, folgen Sie den Schritten des Anbieters der Zahlungsmethode.

Sobald Sie einen gewissen Verbrauch haben, können Sie die bevorstehende Rechnung auf die Profilseite. Sobald Sie den fälligen Betrag haben, können Sie die Rechnung manuell erstellen, indem Sie auf "Rechnung generieren" klicken, oder sie wird automatisch innerhalb von 30 Tagen erstellt.

Sobald Sie Guthaben auf Ihr Konto geladen haben (Prepaid-Option), erhalten Sie die Quittung für die Transaktion per E-Mail.

Rechnungen für die Nutzung bestimmter Dienste werden nach jedem Abrechnungszeitraum (30 Tage) erstellt. Alternativ können Sie, sobald Sie den fälligen Betrag haben, die Rechnung manuell erstellen, indem Sie auf "Rechnung generieren" auf die Profilseite.

Ja. Outscraper wird Ihren Kontostand mit $10 belasten und eine zusätzliche Rechnung über den fälligen Betrag ausstellen.

Ja.

Nein. Die Aufgabe wird abgeschlossen, und wenn die Nutzung der Aufgabe Ihr Guthaben übersteigt, erhalten Sie einfach eine Rechnung über die ausstehende Nutzung.

Sie können Limits verwenden, um die Menge der extrahierten Daten zu begrenzen.

  1. Offen Outscraper-Plattform.
  2. Navigieren Sie zum Seite mit Informationen zur Rechnungsstellung.
  3. Geben Sie die erforderlichen Rechnungsdaten ein, die Sie auf Ihren Rechnungen sehen möchten.
  4. Klicken Sie auf die Schaltfläche Speichern. Alle zukünftigen Rechnungen werden mit den von Ihnen eingegebenen Informationen erstellt.

API

Die Höchstzahl der Abfragen pro Sekunde hängt von der Art der Anfragen, dem Dienst und den Anfrageparametern (Anzahl der Ergebnisse, Anzahl der Abfragen usw.) ab. Die durchschnittliche QPS liegt bei 20 (weiche Grenze). Outscraper kann jedoch entsprechend Ihren Bedürfnissen skaliert werden. Bitte Kontakt mit dem Team für den Fall, dass Sie eine höhere QPS benötigen.

Ja. Die API unterstützt die Stapelverarbeitung durch Senden von Arrays mit bis zu 25 Abfragen (z.B., abfrage=text1&abfrage=text2&abfrage=text3). Sie ermöglicht die Übermittlung mehrerer Abfragen in einer einzigen Anfrage und spart Netzlatenzzeiten.

Navigieren Sie zum API-Nutzungsverlauf Seite um Ihre letzten Anfragen zu sehen.

Navigieren Sie zu Profilseite->API-Token, um einen neuen Schlüssel zu erstellen.

Die durchschnittliche Antwortzeit beträgt 3-5 Sekunden. Sie kann jedoch von der Art des Dienstes (geschwindigkeitsoptimiert oder nicht) und der Anzahl der Abfragen pro Anfrage (Batch-Option) abhängen.

Es gibt einige wichtige Punkte, die Sie beachten sollten, um den Durchsatz der API zu erhöhen.

  1. Stellen Sie sicher, dass Sie die neuesten Versionen der API-Endpunkte verwenden. Verwenden Sie zum Beispiel lieber Orte API V2  anstelle von Orte API V1. Im Falle der Verwendung des SDK wird standardmäßig die letzte Version der API verwendet (z. B. google_maps_search()).
  2. Verwenden Sie die Stapelverarbeitung, um bis zu 25 Abfragen in einer Anfrage zu senden (z. B. query=text1&query=text2&query=text3). Auf diese Weise können mehrere Abfragen in einer Anfrage gesendet werden, was die Netzwerklatenzzeit verkürzt.
  3. Lassen Sie Anfragen parallel laufen. Überprüfen dieses Beispiel.
  4. Verwenden Sie eine Webhook um die Ergebnisse abzurufen, sobald sie fertig sind.

Bei einigen Aufgaben kann die Extraktion der Daten einige Zeit in Anspruch nehmen. Es gibt einige Möglichkeiten, mit Zeitüberschreitungen umzugehen.

  1. Wiederholungen verwenden. Rechnen Sie damit, dass bei einer bestimmten Anzahl von Scraping-Anfragen ein Fehler oder eine Zeitüberschreitung auftreten kann. In der Regel wird das Problem durch einen weiteren Versuch gelöst.
  2. Verwenden Sie asynchrone Anfragen. Eine gute Praxis ist es, asynchrone Anfragen zu senden und die Ergebnisse erst nach der geschätzten Ausführungszeit zu überprüfen. Auschecken diese Python-Implementierung als Beispiel.
  3. Verwenden Sie eine Webhook um die Ergebnisse abzurufen, sobald sie fertig sind.

Google Maps-Schaber

Manchmal fügt Google weitere Kategorien zu Ihren Suchanfragen hinzu. Zum Beispiel, wenn Sie suchen nach Restaurantskönnen Sie sehen Bars, Kaffee Geschäfteoder sogar Hotels. Dies kann zu irrelevanten Daten führen, insbesondere wenn Sie kleinere Kategorien wie Schwimmbäder.

Outscraper bietet Ihnen zwei Tools, mit denen Sie diese Kategorien eliminieren können.

  1. Die Kategorie Wahrzeichen auf Google Maps

    Verwenden Sie die "genaue Übereinstimmung" ankreuzen. Der Parameter gibt an, ob nur die von Ihnen ausgewählten Kategorien oder alles, was Google anzeigt, zurückgegeben werden soll. Stellen Sie sicher, dass Sie die richtigen Kategorien verwenden, indem Sie ähnliche Orte in Google öffnen und die Kategorie überprüfen.

  2. Filterung der Ergebnisse

    Ergebnisse filtern durch Anwendung Filter auf die Spalte Subtypen. Solche Filter können alle irrelevanten Daten eliminieren und nur das zurückgeben, was Sie benötigen. Um leere Ergebnisse zu vermeiden, stellen Sie sicher, dass Sie mit den Werten der Felder vertraut sind, bevor Sie die Filter verwenden.

Es gibt Fälle, in denen vordefinierte Orte oder/und Kategorien nicht ausreichen. Verwenden Sie die Optionen „Benutzerdefinierte Standorte“ oder/und „Benutzerdefinierte Kategorien“, um die gewünschten Kategorien oder/und Standorte einzufügen.

Es gibt eine Beschränkung in Google Maps, die nur bis zu 400-500 Orte für eine Suchanfrage anzeigt. Dies kann ein Problem sein, wenn es mehrere Unternehmen in einer Kategorie gibt. Zum Beispiel für die Abfrage “Restaurants, Brooklyn”.

Um dies zu vermeiden, schlagen wir vor, den Ort in Unterorte aufzuteilen. Zum Beispiel durch die Verwendung von Postleitzahlen:
“Restaurants, Brooklyn 11203”,
“Restaurants, Brooklyn 11211”,
”Restaurants, Brooklyn” 11215”,

…

Oder verwenden Sie Abfragen mit Unterkategorien:

“Asiatische Restaurants, Brooklyn”,

“Italienische Restaurants, Brooklyn”,

“Mexikanische Restaurants, Brooklyn”,

…

Aktivieren Sie das Kontrollkästchen "Abfragen verwenden" und geben Sie die Abfragen ein.

Um Google zu zwingen, nur nach bestimmten Unternehmen zu suchen, schließen Sie den Begriff in Anführungszeichen ” “ ein. Die ” “ Der Operator wird normalerweise bei Stoppwörtern verwendet (Wörter, die Google ansonsten ignorieren würde) oder wenn Sie möchten, dass Google nur die Seiten zurückgibt, die genau Ihren Suchbegriffen entsprechen.

Nach Anklicken des Buttons „Daten extrahieren…“ sehen Sie die Aufgabenschätzung und die Abfragen.

Es wird empfohlen, darauf zu klicken und einige Abfragen zu öffnen, um zu überprüfen, wie es auf der Google Maps-Site aussieht.

Es gibt zwei Dinge, die Sie beachten sollten, um die erwartete Anzahl von Ergebnissen zu kontrollieren.

1. Organisationen pro Abfragelimit – die Grenze der Organisationen, die aus einer Abfrage entnommen werden können.

2. Anzahl der Anfragen – die Anzahl der Suchanfragen, die Sie stellen werden.

Es gibt 6 Abfragen, die der Bot ausführt, um die Daten aus 2 Kategorien und 3 Orten zu extrahieren.

Daher wird die resultierende Menge nicht mehr als 480 Organisationen betragen (Limit von 80 * 6 Abfragen).

Sie können Duplikate in einer Aufgabe entfernen, indem Sie das Kontrollkästchen "Duplikate löschen" aktivieren.

Ja, Sie können Duplikate innerhalb einer Aufgabe löschen, indem Sie das Kontrollkästchen "Duplikate löschen" (erweiterte Parameter) verwenden. Alternativ können Sie sie auch selbst löschen, indem Sie die Felder "google_id" oder "place_id" als eindeutige Bezeichner für einen Ort verwenden.

Die genaue Anzahl der Ergebnisse wird erst nach der Extraktion bekannt.

Sie können "Begrenzung der Gesamtplätze" verwenden, um die endgültige Anzahl der Ergebnisse zu begrenzen.

Ja, Sie können den folgenden Link als Abfrage verwenden: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", in dem Sie eine Abfrage (Immobilien+Immobilien+Agentur), die Koordinaten (41.4034,2.1718413) und die Zoomstufe (17z). Sie können diese Werte bei Google Maps abrufen.

Alternativ können Sie auch den Parameter "Koordinaten" verwenden, wenn Sie die API.

Ja. Sie können die Emails & Kontakte Scraper zusammen mit Google Maps Scraper, um die Daten von Google anzureichern. Wählen Sie dazu "Emails & Contacts Scraper" im Abschnitt "Anreicherung durch andere Dienste" auf der Seite Google Maps Scraper Seite.

Sie zahlen nur für die Ergebnisse, die Sie extrahieren, unabhängig davon, wie viele Abfragen Sie machen.

Nein. Es gibt keine öffentlichen Informationen über E-Mails, die mit dem Eintrag auf Google Maps verbunden sind. Outscraper verwendet externe Quellen, um diese E-Mails zu finden.

Ja, Sie können Filter aus den erweiterten Parametern mit dem folgenden Operator verwenden.

Sie können Ihre Aufgaben nach Stadt/Bundesstaat oder anderen eindeutigen Attributen aufteilen. So können Sie zum Beispiel in der ersten Aufgabe Orte aus New York und in der zweiten Aufgabe Orte aus Kalifornien extrahieren.

Kontaktiere uns

Fragen, spezielle Bedürfnisse, Probleme... Immer gerne von Ihnen zu hören.