İçindekiler
Saf Node.js'de Google Haritalar Kazıma
Bilgisayar programlama, tarayıcı emülasyonu, proxy'ler ve reCAPTCHA çözücü hakkında iyi düzeyde bilgi sahibi olmak Google Haritalar'ı ayıklamak için önemlidir. Aynı şekilde, Google'ın uyarlanabilir içeriğinde yapabileceği herhangi bir değişiklikle başa çıkmaya hazırlıklı olmalısınız.
Tarayıcı emülasyonunu etkili bir şekilde kullanmak için öncelikle gerçek kullanıcının eylemlerini simüle etmeniz gerekir. Kullanma Selenyum veya diğer tarayıcı emülatörleri uygun bir seçenek olabilir.
Ardından, aşağıdakileri kullanmanız gerekecektir proxyler ikinci sırada ise iş yerinizin veya özel konutunuzun IP adresini korumak istiyorsanız. Bu sayede diğer kullanıcıların IP adreslerinden web sitelerini talep edebileceksiniz.
Bir reCAPTCHA oluştuğunda IP'lerinizin değiştirilmesini istemezsiniz, bu nedenle bir reCAPTCHA çözücü çünkü Google bu araç koleksiyonuna rağmen yine de bir reCAPTCHA görüntüleyebilir ve bunu bazı IP'lerinize bağlayabilir. Bu, iyi miktarda trafiğiniz olsa bile gerçekleşebilir.
Ayrıca, Google'ın sağladığı bilgileri gerçekten değiştirebileceği zamanlar vardır. Basit günlük testler işinizi görecektir.
Bir kazıyıcıyı yürürlüğe koymak kapsamlı bir süreç olabilir, ancak sonunda yapılabilir ve geliştirilebilir. Python ve Selenium kullanarak Google Haritalar'ı kazıma hakkında daha fazla bilgi için bu ayrıntılı kılavuza göz atın: How to Scrape Google Maps with Python and Selenium.
Outscraper Node.js Paketi ile Google Maps Kazıma
Kullanarak Outscraper Node.js kütüphanesi Google Haritalar'ı kazıma kalitesini artıracaktır. Google Haritalar'a kolay erişim sağlar. Outscraper API kullanmanıza olanak tanıyan Node.js dilinde yazılmış uygulamalardan Outscraper'nin hizmetleri kodunuzdan.
Yükleyerek başlayabilirsiniz paket adresinde bir hesap oluşturmak İletişim.
Kurulum
Aşağıdaki komutu çalıştırarak Outscraper SDK'yı yükleyin:
npm install outscraper --save
# Or
yarn add outscraper
Başlatma
Sınıfı içe aktararak ve gizli API anahtarınızı ekleyerek Outscraper istemcisini başlatın. API anahtarını şu adreste oluşturabilirsiniz profil sayfası.
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
Kullanım Örnekleri
Arama sorgularını kullanarak Google Haritalar'dan yerleri nasıl kazıyabileceğinize dair örnekler aşağıda verilmiştir:
// Search for businesses in specific locations:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(response);
});
// Scrap Places by Two Queries
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // limit of palces per each query
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('query: ', place.query);
console.log('name: ', place.name);
console.log('phone: ', place.phone);
console.log('site: ', place.site);
});
});
});
Verileri Yer Kimliği kullanarak çıkarmak da mümkündür:
// Get data of the specific place by id
client.googleMapsSearchV2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en').then(response => {
console.log(response);
});
// Scrap Places by Place Ids
client.googleMapsSearchV2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, // limit of palces per each query
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('name: ', place.name);
console.log('place_id: ', place.place_id);
});
});
});
Outscraper SDK'yı Şimdi Deneyin
Outscraper SDK, Node.js ile Google Haritalar kazıma işlemini kolayca yapabilmeniz için bunu basitleştirdi ve etkili bir yol sağladı. Ücretsiz Katmanımızı denemek için kaydolmanız yeterlidir.
SSS
SIKÇA SORULAN SORULAR
npm install outscraper --save # Veya i̇pli̇k dişbükey ekleyi̇n
const Outscraper = require('outscraper');
// Veya ES modüllerini kullanarak:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
// Belirli konumlardaki işletmeleri arayın:
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(yanıt);
});
// İki Sorgu ile Hurda Yerler
client.googleMapsSearchV2(
['restoranlar brooklyn usa', 'barlar brooklyn usa'],
limit=50, // her sorgu için hedef sayısı sınırı
language='en',
region='US',
).then(yanıt => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('sorgu: ', yer.sorgu);
console.log('isim: ', yer.isim);
console.log('telefon: ', yer.telefon);
console.log('site: ', yer.site);
});
});
});Google Haritalar'ı kazımak için iyi bir kodlama bilgisi, tarayıcı emülasyonu, proxy'ler ve reCAPTCHA çözücü. Ayrıca, Google'ın dinamik içerikte yapabileceği değişikliklere de hazır olmalısınız.
Google Haritalar kazıma işlemine izin vermemektedir. Bununla birlikte, kamuya açık verilerin kazınması ve çıkarılması Birleşik Devletler Anayasası'nın Birinci Değişikliği ile korunmaktadır.
0 Yorum