Daftar Isi
Google Maps Scraping Dalam Python Murni
Mengikis Google Maps membutuhkan pengetahuan yang baik tentang pengkodean, emulasi peramban, proksi, dan pemecah reCAPTCHA. Selain itu, Anda juga harus siap menghadapi perubahan yang mungkin dilakukan Google terhadap konten dinamisnya.
Pertama-tama, Anda perlu meniru perilaku pengguna yang sebenarnya dengan menggunakan emulasi browser. Menggunakan Selenium atau emulator peramban lainnya mungkin merupakan solusi yang baik.
Kedua, jika Anda ingin menjaga IP kantor/rumah Anda tetap aman, Anda perlu menggunakan proxy. Jadi, Anda dapat meminta situs web dari IP orang lain.
Bahkan dengan seperangkat alat itu, setelah Anda memiliki beberapa penggunaan yang baik, Google mungkin menampilkan reCAPTCHA dan mengikatnya ke beberapa IP Anda. Jika Anda tidak ingin mengubah IP setiap kali Anda melihat reCAPTCHA, Anda dapat menambahkan pemecah reCAPTCHA.
Selain itu, bersiaplah untuk situasi ketika Google mungkin mengubah kontennya. Anda dapat melakukannya dengan menjalankan tes harian.
Meskipun mungkin perlu waktu untuk mengimplementasikan scraper, scraper dapat dibangun dan dipelihara. Lihat tutorial langkah demi langkah ini tentang cara scrape Google Maps menggunakan Python dan Selenium untuk mempelajari lebih lanjut: Cara Mengikis Google Maps dengan Python dan Selenium.
Google Maps Scraping Dengan Paket Python Outscraper
Cara yang lebih sederhana dan andal untuk mengikis Google Maps adalah menggunakan Perpustakaan python Outscraper. Ini memberikan akses yang nyaman ke API Outscraper dari aplikasi yang ditulis dalam bahasa Python, yang memungkinkan Anda untuk menggunakan Layanan Outscraper dari kode Anda.
Anda bisa mulai dengan menginstal paket dan membuat akun di Outscraper.
Instalasi
Instal SDK Outscraper dengan menjalankan perintah berikut (diperlukan Python 3+):
pip install outscraper
Inisialisasi
Inisialisasi klien Outscraper dengan mengimpor kelas dan menambahkan kunci API rahasia Anda. Anda dapat membuat kunci API pada halaman profil.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Contoh Penggunaan
Berikut adalah contoh bagaimana Anda dapat mengikis tempat dari Google Maps dengan menggunakan kueri penelusuran:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Juga dimungkinkan untuk mengekstrak data dengan menggunakan Place Id:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Coba Outscraper SDK Sekarang
SDK Outscraper tersedia bagi Anda untuk dengan mudah melakukan Google Maps Scraping dengan Python. Anda dapat mencobanya sekarang dengan Free Tier.
Anda dapat mengikis hasil Google Map dengan menggunakan Outscraper SDK. Tentukan permintaan pencarian, bahasa, dan parameter lainnya, dan kirimkan permintaan Anda.
pip menginstal outscraper
dari pencakar langit impor ApiClient klien = ApiClient(api_key='SECRET_API_KEY')
# Mencari bisnis di lokasi tertentu: hasil = klien.google_maps_search('restoran brooklyn usa', batas=20, bahasa='en') # Dapatkan data tempat tertentu berdasarkan id hasil = klien.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', bahasa='en') # Pencarian dengan banyak kueri (batching) hasil = klien.google_maps_search([ 'restoran brooklyn usa', 'bar brooklyn usa', ], bahasa='en')
Scraping Google Maps memerlukan pengetahuan yang baik tentang pengkodean, emulasi browser, proxy, dan pemecah reCAPTCHA. Selain itu, Anda juga harus siap menghadapi perubahan yang mungkin dilakukan Google terhadap konten dinamisnya.
Google Maps tidak mengizinkan scraping. Meskipun, scraping dan penggalian data publik dilindungi oleh Amandemen Pertama Konstitusi Amerika Serikat.
0 Komentar