İçindekiler
Saf Python'da Google Haritalar Kazıma
Scraping Google Maps requires good knowledge of coding, browser emulation, proxies, and a reCAPTCHA çözücü. Ayrıca, Google'ın dinamik içerikte yapabileceği değişikliklere de hazır olmalısınız.
Her şeyden önce, tarayıcı emülasyonu kullanarak gerçek kullanıcının davranışını taklit etmeniz gerekecektir. Kullanmak Selenyum veya diğer tarayıcı emülatörleri iyi bir çözüm olabilir.
İkinci olarak, ofisinizin/evinizin IP'sini güvende tutmak istiyorsanız proxyler. Böylece başkalarının IP'lerinden web siteleri talep edebilirsiniz.
Bu araç setiyle bile, iyi bir kullanıma sahip olduğunuzda, Google size reCAPTCHA gösterebilir ve bunu bazı IP'lerinize bağlayabilir. Eğer her reCAPTCHA gördüğünüzde IP değiştirmek istemiyorsanız, bir reCAPTCHA çözücü.
Ayrıca, Google'ın içeriğini değiştirebileceği durumlara karşı hazırlıklı olun. Bunu günlük testler yaparak yapabilirsiniz.
Kazıyıcıyı uygulamak biraz zaman alsa da, oluşturulabilir ve bakımı yapılabilir. Daha fazla bilgi edinmek için Python ve Selenium kullanarak Google Haritalar'ın nasıl kazınacağına ilişkin bu adım adım öğreticiye göz atın: How to Scrape Google Maps with Python and Selenium.
Outscraper Python Paketi ile Google Haritalar Kazıma
Google Haritalar'ı kazımanın daha basit ve güvenilir bir yolu Outscraper python kütüphanesi. Aşağıdakilere kolay erişim sağlar Outscraper API kullanmanıza olanak tanıyan Python dilinde yazılmış uygulamalardan Outscraper'nin hizmetleri kodunuzdan.
Yükleyerek başlayabilirsiniz paket adresinde bir hesap oluşturmak İletişim.
Kurulum
Aşağıdaki komutu çalıştırarak Outscraper SDK'yı yükleyin (Python 3+ gereklidir):
pip install outscraper
Başlatma
Sınıfı içe aktararak ve gizli API anahtarınızı ekleyerek Outscraper istemcisini başlatın. API anahtarını şu adreste oluşturabilirsiniz profil sayfası.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Kullanım Örnekleri
Arama sorgularını kullanarak Google Haritalar'dan yerleri nasıl kazıyabileceğinize dair örnekler aşağıda verilmiştir:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Verileri Yer Kimliği kullanarak çıkarmak da mümkündür:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Outscraper SDK'yı Şimdi Deneyin
Outscraper SDK, Python ile Google Haritalar Kazıma işlemini kolayca yapabilmeniz için kullanılabilir. Hemen şimdi Ücretsiz Katman ile deneyebilirsiniz.
Outscraper SDK'yı kullanarak Google Harita sonuçlarını kazıyabilirsiniz. Arama sorgularını, dili ve diğer parametreleri belirtin ve isteğinizi gönderin.
pip install outscraper
gelen kaçak İthalat ApiClient müşteri = ApiClient(api_key='SECRET_API_KEY')
# Belirli konumlardaki işletmeleri arayın: Sonuçlar = müşteri.google_maps_search('restoranlar brooklyn abd', limit=20, DİL='en') # Belirli bir yerin verilerini kimliğe göre al Sonuçlar = müşteri.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', DİL='en') # Çok sayıda sorgu ile arama (batching) Sonuçlar = müşteri.google_maps_search([ 'restoranlar brooklyn abd', 'barlar brooklyn abd', ], DİL='en')
Google Haritalar'ı kazımak için iyi bir kodlama bilgisi, tarayıcı emülasyonu, proxy'ler ve reCAPTCHA çözücü. Ayrıca, Google'ın dinamik içerikte yapabileceği değişikliklere de hazır olmalısınız.
Google Haritalar kazıma işlemine izin vermemektedir. Bununla birlikte, kamuya açık verilerin kazınması ve çıkarılması Birleşik Devletler Anayasası'nın Birinci Değişikliği ile korunmaktadır.
0 Yorum