Das Inhaltsverzeichnis
Im Rahmen eines maßgeschneiderten Datenextraktionsprojekts haben wir mit einem einfachen Scraper mehr als 3.000 Unternehmensdatensätze abgerufen. In den ersten Tagen funktionierte das noch, doch dann änderte sich die Struktur. Die Abfragen schlugen fehl, wichtige Felder verschwanden, und der Datensatz wurde unzuverlässig.
Das ist das Kernproblem beim manuellen Scraping: Es scheitert nicht nur einmal, sondern immer wieder.
Aus diesem Grund setzen immer mehr Teams auf eine maßgeschneiderte Datenextraktion über APIs, anstatt anfällige Skripte zu pflegen. Der Markt für API-Management wird voraussichtlich ein Volumen von $15,88 Milliarden bis 2027, was diesen Trend hin zu einem stabilen, programmatischen Datenzugriff widerspiegelt, da Unternehmen zunehmend von der manuellen Datenerfassung abrücken.
Anstatt anfällige Skripte zu pflegen, können Sie eine direkte Verbindung zu Tools wie Outscraper API und fordern Sie strukturierte Geschäftsdaten ab, wann immer Sie sie benötigen. Sie müssen sich nicht mit Proxys, CAPTCHAs oder ständigen Korrekturen herumschlagen.
So starten Sie eine benutzerdefinierte Datenextraktion mit der Outscraper-API
Um eine benutzerdefinierte Datenextraktion zu starten, müssen Sie keine eigene Scraper-Infrastruktur aufbauen. Am schnellsten geht es, wenn Sie eine direkte Verbindung zur Outscraper-API herstellen und diese die Datenerfassung, den Schutz vor Blockierungen und die Skalierung übernehmen lassen.
Die meisten Entwickler kommen in dieser Phase nicht weiter, weil sie versuchen, die Proxy-Rotation, die Header und die Anforderungsbeschränkungen manuell zu lösen. Das führt in der Regel zu 403-Fehlern und instabilen Skripten.
Mit Outscraper können Sie diese gesamte Ebene überspringen und sich auf die Extraktion strukturierter Daten konzentrieren. Bevor Sie Ihre erste Anfrage senden, ist es hilfreich, ein grundlegendes Konzept zu verstehen: Was eine API macht.
Schritt 1: Verstehen, was die Outscraper-API leistet
Eine Anwendungsprogrammierschnittstelle (API) ermöglicht es einer Anwendung, Daten von einer anderen Anwendung abzufragen. Einfach ausgedrückt: Ihr Skript sendet eine Anfrage, und die API sendet die Ergebnisse zurück.
Mit Outscraper können Sie also Unternehmensdaten aus Quellen wie Google Maps abrufen, ohne einen eigenen Scraper von Grund auf neu entwickeln zu müssen.
Bevor Sie loslegen, müssen Sie lediglich diese 5 einfachen Konzepte verstehen:
Daten automatisch abrufen
Geschäftsdaten aus Google Maps extrahieren
Wohin Anfragen gesendet werden
Was Sie suchen
Aufbereitete Daten, die Sie nutzen können (Namen, Adressen, Telefonnummern, Websites)
Schritt 2: Erstellen Sie Ihren API-Schlüssel
1. Einloggen auf Ihr Outscraper-Konto. Registrieren Sie sich falls Sie noch kein Konto haben.
2. Gehen Sie zu Ihrem Profil-Dashboard.
Was finden Sie im Dashboard Ihres Outscraper-Kontos?
3. Kopiere deine API-Schlüssel
Kopieren Sie Ihren exklusiven API-Schlüssel, um Ihr Tool zur benutzerdefinierten Datenextraktion zu starten
Dieser Schlüssel dient zur Verwaltung Ihrer Nutzung und Abrechnung; bewahren Sie ihn daher sicher auf.
Schritt 3: Einrichten und Ausführen Ihrer ersten Anfrage
Nachdem Sie nun die Grundlagen verstanden haben und über Ihren API-Schlüssel verfügen, besteht der nächste Schritt darin, Ihre erste Anfrage zu senden.
Dazu brauchst du nur drei Dinge:
- die Endpunkt
- Ihr API-Schlüssel
- eine Suchanfrage
Ihre erste Anfrage (einfaches Beispiel)
Hier ist eine grundlegende Konfiguration:
Endpunkt
https://api.outscraper.cloud/google-maps-search
Abfrage
Restaurants, Manhattan, NY, USA
Grenzwert
3
Async
false
Was das bedeutet
- Nach Restaurants in Manhattan suchen
- bis zu 3 Ergebnisse zurückgeben
- die Ergebnisse umgehend zurücksenden
Führen Sie Ihr erstes Python-Beispiel aus
Sie können dies mit Python auf Ihrem Computer oder in Tools wie Jupyter Notebook oder Google Colab ausprobieren.
-
Python installieren
Laden Sie Python von folgender Seite herunter und installieren Sie es:
https://www.python.org/downloads/
Öffnen Sie nach der Installation Ihr Terminal oder die Eingabeaufforderung und führen Sie folgenden Befehl aus:
python --version
Dies bestätigt, dass Python korrekt installiert ist. -
Installieren Sie die Bibliothek „requests“
Führen Sie diesen Befehl aus:
pip install requests
Wenn Sie lieber nichts installieren möchten, können Sie dies auch in Google Colab oder Jupyter Notebook ausführen.
Bevor Sie das Skript ausführen, stellen Sie sicher, dass Python installiert ist.
Öffnen Sie die Eingabeaufforderung und führen Sie folgenden Befehl aus:
python --version
Wenn eine Versionsnummer angezeigt wird, können Sie fortfahren.
Sie haben gesehen, wie es funktioniert. Probieren Sie es nun mit Ihrer eigenen Abfrage aus und erhalten Sie sofort strukturierte Geschäftsdaten.
So führen Sie Python auf Ihrem lokalen Computer aus
Sie können das folgende Skript kopieren und über die Eingabeaufforderung (Windows) oder das Terminal (Mac/Linux) ausführen.
Hinweis: Ersetzen Sie “YOUR_API_KEY” durch Ihren persönlichen Outscraper-API-Schlüssel.
import requests
url = "https://api.outscraper.cloud/google-maps-search"
headers = {
"X-API-KEY": "YOUR_API_KEY"
}
params = {
"query": "restaurants, Manhattan, NY, USA",
"limit": 3,
"async": "false"
}
response = requests.get(url, headers=headers, params=params)
print("HTTP status:", response.status_code)
data = response.json()
print("API status:", data.get("status"))
places = data.get("data", [])
if places and len(places) > 0:
for place in places[0]:
print("Name:", place.get("name"))
print("Address:", place.get("address"))
print("Phone:", place.get("phone"))
print("Website:", place.get("website"))
print("-" * 30)
else:
print("No places found.")
- Kopiere die Code (Skript) in den Editor „Notepad“ einfügen und die Datei unter dem Namen outscraper.py
- Offen Eingabeaufforderung und stellen Sie sicher, dass die Requests-Bibliothek installiert wurde
- Öffnen Sie den Ordner, in dem Ihre Datei gespeichert ist
- Öffnen Sie Python IDLE und Laufen Modul
Die strukturierten Ergebnisse sollten in Ihrem Terminal angezeigt werden.
Wenn Sie Python IDLE nicht herunterladen möchten und es vorziehen, für die benutzerdefinierte Datenextraktion einfach das Windows-Terminal zu verwenden, ist das ebenfalls möglich. Stellen Sie sicher, dass Sie sich im richtigen Verzeichnis befinden.
Wenn nichts passiert und es nicht funktioniert, überprüfen Sie zunächst Folgendes:
Wenn Ihr Skript zwar ausgeführt wird, aber nichts angezeigt wird, machen Sie sich keine Sorgen. Das ist ein häufiges Problem bei Anfängern.
-
Python wartet auf eine Eingabe
Wenn du siehst, dass..., drücken Sie Erneut eingeben um den Befehl auszuführen. -
Überprüfen Sie, ob die Anfrage erfolgreich war
Ausführen:print(response.status_code)
Das solltest du sehen 200. -
API-Antwortstatus prüfen
Ausführen:print(response.json().get("status"))Das solltest du sehen Erfolg. -
Die Ausgabe ist zu groß.
print(response.json())liefert eine Menge Daten zurück. Extrahieren Sie stattdessen nur das, was Sie benötigen. -
Auf die richtige Datenstruktur zugreifen
Die Ergebnisse finden Sie hier:data["data"][0]
-
Immer noch nichts?
Versuchen Sie, die Anzahl der Ergebnisse auszugeben:print(len(response.json().get("data", [])))
Tipp: Es ist einfacher, Ihren Code als Datei auszuführen (python script.py) anstatt alles in die Python-Konsole einzugeben.
Wie geht es weiter?
- Ihre Anfrage wird an die Outscraper-API gesendet
- Die API verarbeitet die Anfrage.
- Sie haben strukturierte Ergebnisse (Geschäftsdaten) erhalten.
Fangen Sie klein an. Verwenden Sie eine Abfrage, ein niedriges Limit und „async=false“. Sobald es funktioniert, können Sie später skalieren.
Schritt 4: Die Ausgabe Ihrer ersten Anfrage verstehen
Nach Ihrer ersten Anfrage gibt Outscraper Daten zurück in JSON Format.
Hier ist eine einfache Möglichkeit, den Aufbau der Antwort zu verstehen.
Zeigt an, ob die Anfrage erfolgreich war
Enthält die Geschäftsergebnisse
Die Anforderungskennung
Von der API zurückgegebene strukturierte Daten
Ein Unternehmen = ein Datensatz. Jedes Etikett wie
name oder phone = ein Feld.Zu diesem Zeitpunkt funktioniert Ihre Abfrage und Sie erhalten strukturierte Ergebnisse. Wenn Sie diese strukturierten Ergebnisse in eine Anwendung übernehmen möchten, lesen Sie weiter unter So erstellen Sie eine standortbasierte App mit Google Maps-Daten und Supabase unter Verwendung eines JSON-zu-Datenbank-Workflows.
Der nächste Schritt besteht nicht darin, mehr Daten zu sammeln, sondern die “richtigen” Daten zu sammeln. Genau hier verschwenden die meisten Anfänger ihre API-Guthaben.
Das bringen wir in Ordnung.
Sie haben Ihre erste Abfrage lokal ausgeführt. Nun können Sie echte Geschäftsdaten in großem Umfang extrahieren, ohne sich um Skripte oder die Infrastruktur kümmern zu müssen.
Möglichkeiten zur Definition Ihrer Datenextraktionslogik (ohne API-Credits zu verschwenden)
Die meisten Anfänger versuchen, alles auf einmal zu sammeln. Nutzen Sie stattdessen dieses einfache Schema:
Die 3-Stufen-Methode zur Datenextraktion nach Outscraper
Eine einfache Möglichkeit, nur die Daten zu erfassen, die Sie benötigen, ohne API-Guthaben zu verschwenden.
Suchen Sie nach Unternehmen anhand bestimmter Suchbegriffe, Kategorien und Standorte.
Behalten Sie nur relevante Daten bei, indem Sie die Parameter verfeinern und nützliche Felder auswählen.
Fügen Sie E-Mail-Adressen, Profile in sozialen Netzwerken und weitere Angaben hinzu, um aus Daten Leads zu generieren.
Sammeln Sie nicht alles auf einmal. Fangen Sie klein an, bereinigen Sie Ihre Daten und ergänzen Sie dann nur das, was wirklich wichtig ist.
Die Nutzung der API ist einfach. Der eigentliche Mehrwert liegt darin, die richtigen Daten für die Erfassung auszuwählen. Wenn Sie dies nicht frühzeitig festlegen, werden Sie
- Irrelevante Daten erfassen
- Gutschriften aus der Abfall-API
- Nimm dir mehr Zeit für die Aufbereitung deiner Ergebnisse
Konzentrieren Sie sich zunächst ausschließlich auf die Daten, die Sie benötigen.
1. Legen Sie Ihre Suchparameter fest
Allgemeine Suchanfragen liefern unübersichtliche Ergebnisse. Anstelle von “Geschäfte in New York”.”
Verwenden Sie spezifischere Suchanfragen:
- Kategoriefilterung – “Zahnärzte in New York”
- Standortbasiertes Targeting – Bestimmte Gebiete oder Koordinaten
- Bewertungsfilterung – Konzentrieren Sie sich auf qualitativ hochwertige oder aktuelle Daten.
Präzisere Abfragen = sauberere Daten + weniger verschwendete Guthaben.
2. Sammeln Sie nur Daten, die Sie auch nutzen werden
Die API gibt viele Felder zurück, aber Sie benötigen nicht alle davon.
Zum Beispiel:
- Lead-Generierung = Name, Adresse, Telefonnummer (NAP), Website
- Öffentlichkeitsarbeit = E-Mail- und Social-Media-Profile
- Analyse = Bewertungen, Rezensionen.
Fangen Sie klein an. Fügen Sie weitere Felder erst hinzu, wenn sie benötigt werden.
3. Daten in einem zweiten Schritt anreichern
Die grundlegenden Ergebnisse sind nur der Ausgangspunkt. Sie können einen zweiten Schritt durchführen, um Ihre Daten anzureichern:
- E-Mails = Auszug aus der Unternehmenswebsite
- Profile in sozialen Netzwerken = Daten aus sozialen Netzwerken oder beruflichen Netzwerken.
Dadurch wird aus einer einfachen Liste eine nutzbare Lead-Datenbank.
Denken Sie in kleinen Schritten, statt eine einzige große Anfrage zu stellen
Anstatt alles auf einmal zu sammeln:
- Unternehmen finden
- Ergebnisse filtern
- Ausgewählte Leads ergänzen
Dadurch bleibt Ihr Arbeitsablauf effizient und die unnötige Nutzung von APIs wird reduziert.
Wenn man zu früh zu viele Daten sammelt, führt dies zu höheren Kosten und unstrukturierten Datensätzen. Beginnen Sie mit einer kleinen, gezielten Abfrage und erweitern Sie diese nur bei Bedarf.
Verwenden Sie strukturierte Abfragen und Filter, um nur die Daten zu extrahieren, die Sie benötigen, und so eine Verschwendung von API-Guthaben zu vermeiden.
So skalieren Sie das Scraping benutzerdefinierter Daten mithilfe von Batching und parallelen Anfragen
Die Ausführung einer einzelnen Anfrage eignet sich zum Testen. Für die Skalierung ist sie jedoch nicht geeignet.
Mit zunehmendem Datenvolumen ergeben sich folgende Hauptherausforderungen:
- Zu viele API-Aufrufe
- Langsame Ausführung von Anfragen
Um effizient zu skalieren, müssen Sie beides reduzieren.
So sieht ein skalierbarer Workflow zur Datenextraktion aus:
Eine Anfrage ausführen → langsam und eingeschränkt bei großen Datensätzen
Mehrere Abfragen in einer Anfrage zusammenfassen → weniger API-Aufrufe
Begrenzung und Filter verwenden → schnellere und übersichtlichere Ergebnisse
Anfragen im Hintergrund ausführen und mehrere Anfragen gleichzeitig bearbeiten
1. Mehrere Abfragen in einer Anfrage senden
Mit Outscraper können Sie mithilfe der Abfrage Parameter.
Anstatt einzelne Anfragen zu senden, können Sie diese zusammenfassen.
Laut dem Dokumentation, Durch die Batch-Verarbeitung können mehrere Abfragen in einer einzigen Anfrage zusammengefasst werden, was den Netzwerkaufwand verringert und die Geschwindigkeit erhöht.
2. Bestimmen Sie selbst, wie viele Daten Sie erfassen
Verwenden Sie die Grenzwert Parameter zur Steuerung der Anzahl der Ergebnisse, die jede Abfrage zurückgibt.
- Geringeres Limit – Schnellere Reaktion
- Höheres Limit – Mehr Daten, aber langsamer
Fangen Sie klein an und steigern Sie die Menge erst bei Bedarf.
3. Ergebnisse übersichtlich halten
Bei der Verwendung mehrerer Abfragen kann es zu Überschneidungen der Ergebnisse kommen.
Verwendung:
- dropDuplicates – Duplikate entfernen
- totalLimit – Begrenzung der Gesamtzahl der Ergebnisse
Dadurch bleibt Ihr Datensatz nutzbar.
4. Verwenden Sie parallele Anfragen in Ihrem Code
Die Batch-Verarbeitung und die asynchrone Verarbeitung werden von der API übernommen.
Die parallele Ausführung wird von Ihrem Code übernommen.
Anstatt darauf zu warten, dass eine Anfrage abgeschlossen ist, können Sie mehrere Anfragen gleichzeitig ausführen, um Ihren Arbeitsablauf zu beschleunigen.
Nutzen Sie Batching, asynchrone Anfragen und parallele Ausführung, um große Datensätze effizient zu verarbeiten.
Automatisierung von Workflows zur Datenextraktion mit Webhooks
Wenn Sie umfangreiche Abfragen ausführen, kommt es irgendwann zu einem Timeout Ihres Skripts. Dies geschieht in der Regel, wenn Sie Abfragen im Batch-Verfahren ausführen oder Anreicherungen verwenden.
Anstatt auf die Antwort zu warten, verwenden Sie „async=true“ in Verbindung mit einem Webhook.
Einrichtung
- Fügen Sie „async=true“ zu Ihrer Anfrage hinzu
- Webhook-URL hinzufügen
- Senden Sie die Anfrage ab und lassen Sie den Vorgang laufen
Outscraper verarbeitet den Auftrag im Hintergrund und sendet die Ergebnisse nach Abschluss an Ihren Server.
Wenn Sie Webhooks verwenden, sollten Sie Ihren Endpunkt immer zuerst mit einer kleinen Anfrage testen, bevor Sie umfangreiche Aufträge ausführen.
"async": true, "webhook": "https://yourserver.com/webhook"
Dadurch werden fehlgeschlagene Lieferungen vermieden und die Fehlerbehebung vor der Skalierung Ihres Workflows erleichtert.
Häufiger Fehler
Ausführung einer großen Anzahl von Anfragen mit „async=false“.
Dadurch bleibt die Verbindung offen, was das Risiko von Timeouts oder fehlgeschlagenen Anfragen erhöht.
Nutzen Sie Webhooks, um Ihre Datenpipeline zu automatisieren und die Signaturen von Anfragen zu überprüfen, um sicherzustellen, dass jede Antwort authentisch und sicher ist.
Wie man Rohdaten in Lead-Generierung und KI-Workflows umwandelt
Die meisten Projekte zur Datenextraktion scheitern bereits nach dem ersten Schritt. Man sammelt die Daten, also sollte man sie auch nutzen.
Wenn Ihre Ergebnisse lediglich im JSON-Format oder in einer Textdatei gespeichert bleiben, generieren sie weder Leads noch können sie ein System antreiben. Der wahre Wert liegt darin, die Rohdaten in etwas Verwertbares umzuwandeln.
Daten für Ihr CRM vorbereiten
Die Rohdaten der API sind noch nicht für den Einsatz im Vertrieb geeignet. Bevor Sie sie in ein CRM-System integrieren, müssen Sie die Daten bereinigen und strukturieren.
Im Fokus:
- Feldzuordnung – API-Felder den CRM-Spalten zuordnen (Name – Firmenname, Telefon – Kontaktnummer).
- Unvollständige Datensätze entfernen – Überspringen Sie Unternehmen ohne Website oder Kontaktdaten.
- Ergebnisse deduplizieren – Vermeiden Sie doppelte Leads durch sich überschneidende Suchanfragen.
Kontaktdaten vor der Kontaktaufnahme überprüfen
Nicht alle extrahierten Daten sind verwertbar.
Vor dem Start von Kampagnen:
- E-Mail-Adressen überprüfen
- Ungültige oder riskante E-Mails entfernen
- Nur gültige Kontakte behalten
Dadurch wird Folgendes verhindert:
- Hohe Absprungraten
- Probleme mit Spam
- Beeinträchtigte Reputation des Absenders
Daten in eine Lead-Liste umwandeln
In dieser Phase ist Ihr Ziel ganz einfach: Wandeln Sie strukturierte Daten einfach in eine verwertbare Liste um.
Eine grundlegende Lead-Liste umfasst:
- Firmenname
- Webseite
- Telefonnummer
Das wird von Ihrem Vertriebsteam oder Ihren Outreach-Tools genutzt.
Daten für die KI-Automatisierung nutzen
Sobald Ihre Daten bereinigt sind, können Sie sie über die Lead-Generierung hinaus nutzen.
Beispiele:
- KI-Anreicherung – Unternehmen nach Branche oder Absicht kategorisiert.
- Lead-Qualifizierung – Priorisieren Sie besonders vielversprechende Interessenten.
- Automatisierte Kundenansprache – E-Mail- oder CRM-Workflows auslösen.
Derselbe Datensatz kann beides unterstützen:
- Vertriebspipelines
- KI-gesteuerte Arbeitsabläufe
Die meisten Probleme treten nicht bei der Datenextraktion auf, sondern erst, wenn Sie versuchen, die Daten in Ihrem CRM- oder Outreach-Tool zu nutzen.
Beginnen Sie mit einem kleinen Datensatz und testen Sie Ihre gesamte Pipeline (Datenextraktion → CRM → Kundenansprache), bevor Sie diese skalieren. Die meisten Probleme treten erst nach der Integration auf, nicht während der Datenextraktion.
Vom Drehbuch bis zur Produktion
Zu diesem Zeitpunkt verfügen Sie bereits über alles, was Sie für die Ausführung eines produktionsreifen Workflows benötigen:
- Strukturierte Abfragen
- Kontrollierte Datenextraktion
- Skalierbare Anfragen
- Automatisierte Zustellung mit Webhooks
Der Unterschied zwischen einem Testskript und einem Produktionssystem liegt in der Konsistenz. Sobald Ihre Pipeline stabil läuft, können Sie sie kontinuierlich ausführen und in Ihre bestehenden Tools integrieren.
Die meisten Teams scheitern nicht an der Extraktion selbst, sondern daran, daraus ein wiederholbares System zu machen.
Verzichten Sie darauf, Scraper von Grund auf neu zu entwickeln. Nutzen Sie die Outscraper-API, um Ihre Datenpipeline zu extrahieren, zu skalieren und zu automatisieren.
Häufig gestellte Fragen
Die benutzerdefinierte Datenextraktion über eine API bedeutet, dass strukturierte Anfragen an einen Dienst wie Outscraper gesendet werden, um Geschäftsdaten (wie Namen, Adressen und Websites) abzurufen, ohne einen eigenen Scraper entwickeln zu müssen.
Anstatt sich mit Proxys oder CAPTCHAs herumzuschlagen, liefert die API übersichtliche, strukturierte Ergebnisse, die Sie sofort nutzen können.
Grundkenntnisse in Python oder APIs sind von Vorteil, aber Sie benötigen keine fortgeschrittenen Programmierkenntnisse.
In dieser Anleitung erfahren Sie, wie Sie Ihre erste Anfrage mithilfe eines einfachen Skripts ausführen. Sie können auch Tools wie Google Colab nutzen, um die Funktion zu testen, ohne etwas lokal installieren zu müssen.
Dies ist eines der häufigsten Probleme. Es tritt in der Regel auf, wenn:
- Die Anfrage ist zu allgemein oder unklar.
- Die Anfrage wurde nicht ordnungsgemäß ausgeführt.
- Die Ergebnisse werden in der JSON-Antwort nicht korrekt abgerufen.
Beginnen Sie mit einer einfachen Abfrage und einem kleinen Limit und erweitern Sie diese dann, sobald sie funktioniert.
Um effizient zu skalieren:
- Mehrere Abfragen in einer Anfrage senden
- Prüfergebnisse unter Verwendung des Grenzparameters
- verwenden. async=true für größere Aufträge
- Führen Sie parallele Anfragen in Ihrem Code aus
Bei der Skalierung geht es darum, sowohl die Anzahl der API-Aufrufe als auch die Wartezeit zu reduzieren.
Nach der Datenextraktion:
- Ordnen Sie die Felder Ihrem CRM zu (Name, Telefonnummer, Website)
- Unvollständige oder doppelte Datensätze entfernen
- E-Mail-Adressen vor der Kontaktaufnahme überprüfen
Die meisten Probleme treten nach der Extraktion auf, wenn die Daten für die eigentliche Nutzung aufbereitet werden.
