Inhoudsopgave
Google Maps scrapen in pure Node.js
Een goede kennis van computerprogrammering, browseremulatie, proxy's en reCAPTCHA solver is belangrijk voor het extraheren van Google Maps. Ook moet je voorbereid zijn op eventuele wijzigingen die Google aanbrengt in zijn adaptieve inhoud.
Om browseremulatie effectief in te zetten, moet je eerst de handelingen van de echte gebruiker simuleren. gebruiken Selenium of andere browseremulators kunnen een haalbare optie zijn.
Dan moet je gebruik maken van volmachten in de tweede plaats als je het IP-adres van je werkplek of privéwoning wilt beschermen. Hierdoor kun je websites opvragen vanaf de IP-adressen van andere gebruikers.
Je wilt niet dat je IP's worden omgeschakeld telkens als er een reCAPTCHA optreedt; daarom kun je een reCAPTCHA oplosser op je systeem, omdat Google nog steeds een reCAPTCHA kan weergeven en het kan verbinden met sommige van je IP's ondanks die verzameling tools. Dit kan zelfs gebeuren als je een goede hoeveelheid verkeer hebt.
Bovendien zijn er momenten waarop Google de informatie die het verschaft daadwerkelijk kan wijzigen. Dagelijks testen is voldoende.
Het in werking stellen van een scraper kan een uitgebreid proces zijn, maar het kan uiteindelijk worden gedaan en ontwikkeld. Kijk voor meer informatie over het scrapen van Google Maps met Python en Selenium eens naar deze gedetailleerde handleiding: Hoe Google Maps te scrapen met Python en Selenium.
Google Maps scrapen met Outscraper Node.js pakket
De Outscraper Node.js bibliotheek zal de kwaliteit van het schrapen van Google Maps verbeteren. Het biedt handige toegang tot de Outscraper API van applicaties die geschreven zijn in de taal Node.js, waardoor je gebruik kunt maken van Outscraper's diensten van je code.
U kunt beginnen met het installeren van het pakket en een account aanmaken bij Outscraper.
Installatie
Installeer de Outscraper SDK door het volgende commando uit te voeren:
npm install outscraper --save
# Or
yarn add outscraper
Initialisatie
Initialiseer de Outscraper client door de klasse te importeren en je geheime API sleutel toe te voegen. Je kunt de API sleutel genereren op de profielpagina.
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
Gebruiksvoorbeelden
Hier zijn voorbeelden van hoe u plaatsen uit Google Maps kunt scrapen met behulp van zoekopdrachten:
// Search for businesses in specific locations:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Scrap Places by Two Queries
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limit of palces per each query
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('name: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});
Het is ook mogelijk de gegevens te extraheren met behulp van de plaats-id:
// Get data of the specific place by id
client.googleMapsSearchV2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en').then(response => {
console.log(response);
});
// Scrap Places by Place Ids
client.googleMapsSearchV2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, // limit of palces per each query
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('name: ', place.name);
console.log('place_id: ', place.place_id);
});
});
});
Probeer nu Outscraper SDK
De Outscraper SDK heeft het eenvoudig gemaakt en biedt een efficiënte manier beschikbaar voor u om eenvoudig Google Maps scraping te doen met Node.js. Meld je gewoon aan om onze Free Tier een keer te proberen.
FAQ
Meest voorkomende vragen en antwoorden
npm install outscraper --save # Of yarn outscraper toevoegen
const Outscraper = require('outscraper');
// Of ES-modules gebruiken:
import Outscraper from 'outscraper';
laat client = nieuwe Outscraper('SECRET_API_KEY');
// Zoeken naar bedrijven op specifieke locaties:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Plaatsen scrapen met twee query's
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limiet van plaatsen per zoekopdracht
language='en
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(plaats => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('naam: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});Het scrapen van Google Maps vereist goede kennis van codering, browser emulatie, proxies, en reCAPTCHA oplosser. Bovendien moet u ook klaar zijn voor de wijzigingen die Google kan aanbrengen in zijn dynamische inhoud.
Google Maps verbiedt scraping. Hoewel het schrapen en extraheren van openbare gegevens wordt beschermd door het Eerste Amendement van de Grondwet van de Verenigde Staten.
0 Opmerkingen