Зміст
Скрапінг Google Maps у чистому Node.js
Для вилучення Карт Google важливий хороший рівень знань з комп'ютерного програмування, емуляції браузерів, проксі-серверів і розшифровувача reCAPTCHA. Крім того, ви повинні бути готові до будь-яких змін, які Google може вносити до свого адаптивного контенту.
Для того, щоб ефективно використовувати емуляцію браузера, вам спочатку потрібно змоделювати дії реального користувача. Використовуючи Селен або інші емулятори браузерів можуть бути життєздатним варіантом.
Тоді вам потрібно буде скористатися проксі-сервери по-друге, якщо ви хочете захистити IP-адресу свого робочого місця або приватного помешкання. Завдяки цьому ви зможете запитувати веб-сайти з IP-адрес інших користувачів.
Ви не хочете, щоб ваші IP-адреси змінювалися щоразу, коли відбувається reCAPTCHA; тому ви можете додати параметр Розв'язувач reCAPTCHA до вашої системи, оскільки Google все одно може відображати reCAPTCHA і пов'язувати її з деякими вашими IP-адресами, незважаючи на цей набір інструментів. Це може статися, навіть якщо у вас великий обсяг трафіку.
Крім того, бувають випадки, коли Google може змінювати інформацію, яку він надає. Просте щоденне тестування допоможе вам у цьому.
Впровадження скрейпера в дію може бути тривалим процесом, але зрештою його можна зробити і розробити. Для отримання додаткової інформації про скрапінг Google Maps за допомогою Python і Selenium, ознайомтеся з цим детальним керівництвом: Як скрафтити Google Maps за допомогою Python та Selenium.
Скрапінг Google Maps за допомогою пакета Outscraper Node.js
Використовуючи Бібліотека Outscraper Node.js підвищить якість скрапінгу Google Maps. Він забезпечує зручний доступ до Outscraper API з додатків, написаних на мові Node.js, що дозволяє використовувати Послуги Outscraper з твого коду.
Ви можете почати, встановивши пакет та створення облікового запису на Outscraper.
Встановлення
Встановіть Outscraper SDK, виконавши наступну команду:
npm install outscraper --save
# Or
yarn add outscraper
Ініціалізація
Ініціалізуйте клієнт Outscraper, імпортувавши клас і додавши ваш секретний ключ API. Ви можете згенерувати ключ API на сторінка профілю.
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
Приклади використання
Ось приклади того, як можна витягувати місця з Карт Google за допомогою пошукових запитів:
// Search for businesses in specific locations:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Scrap Places by Two Queries
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limit of palces per each query
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('name: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});
Також можна витягти дані за допомогою Place Id:
// Get data of the specific place by id
client.googleMapsSearchV2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en').then(response => {
console.log(response);
});
// Scrap Places by Place Ids
client.googleMapsSearchV2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, // limit of palces per each query
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('name: ', place.name);
console.log('place_id: ', place.place_id);
});
});
});
Спробуйте Outscraper SDK зараз
Outscraper SDK спростив цей процес і надає вам ефективний спосіб легко виконувати скрапінг Google Maps за допомогою Node.js. Просто зареєструйтесь, щоб спробувати наш безкоштовний рівень.
ПОШИРЕНІ ЗАПИТАННЯ
Найпоширеніші запитання та відповіді
npm install outscraper --save # Або yarn додати outscraper
const Outscraper = require('outscraper');
// Або з використанням модулів ES:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
// Пошук підприємств у певних локаціях:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Вилучаємо заклади за двома запитами
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // ліміт закладів на кожен запит
language='en',
region='US',
).then(response => {})
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('запит: ', place.query);
console.log('ім'я: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', місце.site);
});
});
});Скрапінг Google Maps вимагає хороших знань кодування, емуляції браузерів, проксі-серверів та вирішувач reCAPTCHA. Крім того, ви також повинні бути готові до змін, які Google може внести до свого динамічного контенту.
Карти Google забороняють скрапінг. Хоча скрапінг та вилучення публічних даних захищено Першою поправкою до Конституції Сполучених Штатів.
0 Коментарі