Table des matières
Extraction de données de Google Maps en Node.js pur
Il est important de disposer de solides connaissances en programmation informatique, en émulation de navigateur, en serveurs proxy et en outils de contournement de reCAPTCHA pour extraire des données de Google Maps. De même, vous devez être prêt à faire face à toute modification que Google pourrait apporter à son contenu adaptatif.
Pour utiliser efficacement l'émulation de navigateur, vous devrez d'abord simuler les actions de l'utilisateur réel. À l'aide de Sélénium ou d'autres émulateurs de navigateur pourraient constituer une option viable.
Ensuite, vous devrez utiliser Proxies d'autre part, si vous souhaitez masquer l'adresse IP de votre lieu de travail ou de votre domicile. Vous pourrez ainsi accéder à des sites web en utilisant les adresses IP d'autres utilisateurs.
Vous ne souhaitez pas que vos adresses IP changent à chaque fois qu'un reCAPTCHA s'affiche ; vous pouvez donc ajouter un Solutionneur de reCAPTCHA à votre système, car Google peut tout de même afficher un reCAPTCHA et l'associer à certaines de vos adresses IP malgré cet ensemble d'outils. Cela peut se produire même si vous générez un trafic important.
De plus, il arrive parfois que Google modifie les informations qu'il fournit. Il suffit donc de vérifier régulièrement ces informations pour s'en assurer.
La mise en place d'un scraper peut s'avérer un processus fastidieux, mais c'est tout à fait faisable et on finit par y parvenir. Pour plus d'informations sur le scraping de Google Maps à l'aide de Python et de Selenium, consultez ce guide détaillé : Comment extraire des données de Google Maps avec Python et Selenium.
Extraction de données de Google Maps à l'aide du package Node.js Outscraper
À l'aide de la Bibliothèque Outscraper pour Node.js améliorera la qualité de l'extraction de données de Google Maps. Il offre un accès pratique à la API d'Outscraper à partir d'applications écrites en Node.js, ce qui vous permet d'utiliser Les services de Outscraper de votre code.
Vous pouvez commencer par installer le paquet et en créant un compte sur Outscraper.
Installation
Installez le SDK Outscraper en exécutant la commande suivante :
npm install outscraper --save
# Or
yarn add outscraper
Initialisation
Initialisez le client Outscraper en important la classe et en ajoutant votre clé API secrète. Vous pouvez générer la clé API sur la page de profil.
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
Exemples d'utilisation
Voici des exemples de la façon dont vous pouvez extraire des lieux de Google Maps en utilisant des requêtes de recherche :
// Search for businesses in specific locations:
client.googleMapsSearch(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Scrap Places by Two Queries
client.googleMapsSearch(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limit of palces per each query
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('name: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});
Il est également possible d'extraire les données en utilisant Place Id :
// Get data of the specific place by id
client.googleMapsSearch(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en').then(response => {
console.log(response);
});
// Scrap Places by Place Ids
client.googleMapsSearch(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, // limit of palces per each query
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('name: ', place.name);
console.log('place_id: ', place.place_id);
});
});
});
Essayez Outscraper SDK maintenant
Le SDK Outscraper vous offre un moyen simple et efficace d'extraire facilement des données de Google Maps avec Node.js. Il vous suffit de vous inscrire pour tester notre offre gratuite.
FAQ
Questions et réponses les plus fréquentes
Vous pouvez récupérer les résultats de Google Map en utilisant Outscraper SDK. Spécifiez les requêtes de recherche, la langue et d'autres paramètres, puis envoyez votre demande.
npm install outscraper --save # Ou bien yarn add outscraper
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');// Search for businesses in specific locations:
client.googleMapsSearch(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Scrap Places by Two Queries
client.googleMapsSearch(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limit of palces per each query
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('name: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});L'exploration de Google Maps nécessite une bonne connaissance du codage, de l'émulation de navigateur, des proxies et de l'utilisation de l'Internet. Solveur de reCAPTCHA. En outre, vous devez également être prêt à faire face aux modifications que Google pourrait apporter à son contenu dynamique.
Google Maps interdit le scraping. Cependant, le grattage et l'extraction de données publiques sont protégés par le premier amendement de la Constitution des États-Unis.
0 Comments