Outscraper FAQ

Umum

Scraping, harvesting, parsing, atau ekstraksi adalah proses pengambilan seluruh informasi dari suatu situs publik. Proses ini mengotomatiskan ekspor data yang biasanya dilakukan secara manual.

Pengambilan dan ekstraksi data publik dilindungi oleh Amandemen Pertama Konstitusi Amerika Serikat. Pengadilan Banding Sirkuit Kesembilan memutuskan bahwa pengumpulan data yang dapat diakses publik secara otomatis tidak melanggar Undang-Undang Penipuan dan Penyalahgunaan Komputer (CFAA). Meskipun demikian, Anda disarankan untuk berkonsultasi dengan pengacara mengenai masalah spesifik Anda guna memastikan kepatuhan terhadap undang-undang di yurisdiksi Anda.

Setiap tugas pengumpulan data dijalankan di cloud. Alamat IP Anda tidak akan terpengaruh oleh proses pengumpulan data tersebut.

Lihat Dokumentasi API atau kunjungi halaman GitHub untuk mendapatkan tips eksklusif tentang cara mengintegrasikan layanan dengan kode Anda. Kunjungi blog.

Anda dapat menonaktifkan notifikasi di halaman profil.

Kami hanya mengekstrak data yang tersedia untuk umum, dan scraper berfungsi sebagai browser untuk ilmuwan data, pengembang, dan pemasar.

Mekanisme untuk menjamin data bebas PII adalah dengan memilih kolom apa yang ingin Anda kembalikan.

Tidak. Semua aktivitas pengambilan data dilakukan di server Outscraper, sehingga alamat IP Anda tidak digunakan untuk pengambilan data. Hal ini juga berarti komputer Anda dapat dimatikan saat tugas pengambilan data sedang berjalan.

Pembayaran & Langganan

Faktur akan diterbitkan berdasarkan penggunaan layanan selama periode penagihan (30 hari). Harga-harga tercantum di halaman.

Tingkat Gratis adalah jumlah penggunaan yang dapat Anda gunakan secara gratis setiap bulan. Misalnya, beberapa produk X memiliki Tingkat Gratis dengan 500 permintaan per bulan. Ini berarti penggunaan produk di bawah 500 permintaan selama sebulan akan gratis.

Setelah langganan diselesaikan, Anda akan menerima faktur atas penggunaan layanan selama masa berlangganan.

Apabila Anda tidak dapat melakukan pembayaran dalam waktu 3 hari, sistem akan mencoba memotong pembayaran secara otomatis.

  1. Sebelum menambahkan kredit, pastikan Anda telah mengisi detail Anda di halaman informasi penagihan (jika Anda membutuhkannya untuk faktur atau PO).
  2. Buka halaman profil Anda.
  3. Masukkan jumlah kredit yang ingin Anda tambahkan.
  4. Pilih metode pembayaran yang ingin Anda gunakan untuk menambah saldo (kartu kredit, PayPal, dll.).
  5. Setelah mengklik tombol yang sesuai dengan metode pembayaran Anda, ikuti langkah-langkah yang ditentukan oleh penyedia metode pembayaran tersebut.

Setelah Anda memiliki riwayat penggunaan, Anda dapat melihat tagihan yang akan datang di Halaman Profil. Setelah jumlah yang harus dibayar tersedia, Anda dapat membuat faktur secara manual dengan mengklik “Buat Faktur”, atau faktur tersebut akan dibuat secara otomatis dalam waktu 30 hari.

Setelah Anda mengisi saldo akun Anda (opsi prabayar), Anda akan menerima bukti transaksi melalui email.

Faktur yang mencantumkan penggunaan layanan tertentu akan dibuat setelah setiap periode penagihan (30 hari). Sebagai alternatif, setelah Anda mengetahui jumlah yang harus dibayar, Anda dapat membuat faktur secara manual dengan mengklik “Buat Faktur” di Halaman Profil.

Ya. Outscraper akan membebankan saldo akun Anda untuk $10 dan mengeluarkan faktur tambahan dengan jumlah yang harus dibayar.

Ya.

Tugas akan selesai dan jika penggunaan tugas akan lebih besar dari kredit akun Anda, Anda hanya akan menerima faktur dengan penggunaan yang belum dibayar.

Anda bisa menggunakan limit untuk membatasi jumlah data yang diekstrak.

  1. Buka Platform Outscraper.
  2. Arahkan ke Halaman Informasi Penagihan.
  3. Masukkan informasi penagihan yang diperlukan yang ingin Anda tampilkan pada faktur Anda.
  4. Klik tombol Simpan. Semua faktur Anda di masa mendatang akan dibuat berdasarkan informasi yang telah Anda masukkan.

Referensikan teman dan mulailah menerima 35% dari pembayaran referral Anda ke saldo akun Anda. Referral Anda akan menerima 25% diskon untuk pembayaran pertama mereka. Dapatkan tautan rujukan Anda sekarang.

API

Batas jumlah kueri (permintaan) per detik bergantung pada jenis permintaan, layanan, dan parameter permintaan (jumlah hasil, jumlah kueri, dll.). Rata-rata QPS sekitar 20 (batas lunak). Namun, Outscraper dapat disesuaikan sesuai kebutuhan Anda. Silakan hubungi tim jika Anda membutuhkan QPS yang lebih tinggi.

Ya. API mendukung pengiriman batch dengan mengirimkan array yang berisi hingga 25 kueri (misalnya, query=text1&query=text2&query=text3). Fitur ini memungkinkan pengiriman beberapa kueri dalam satu permintaan dan mengurangi latensi jaringan.

Buka halaman Riwayat Penggunaan API untuk melihat permintaan terbaru Anda.

Arahkan ke halaman profil->API token untuk membuat kunci baru.

Waktu respons rata-rata adalah 3-5 detik. Tetapi mungkin tergantung pada jenis layanan (kecepatan dioptimalkan atau tidak) dan jumlah kueri per permintaan (opsi batch).

Untuk meningkatkan kinerja dan throughput API, ikuti praktik terbaik berikut ini.
  1. Gunakan metode batching untuk mengirimkan beberapa kueri dalam satu permintaan (misalnya: query=text1&query=text2&query=text3).
  2. Menggunakan async=true (default) untuk mengirimkan tugas tanpa mempertahankan koneksi HTTP tetap terbuka. Hal ini membantu mencegah terjadinya timeout dan memungkinkan Anda mengantrekan banyak permintaan secara efisien. Jika digabungkan dengan webhook, fitur ini memungkinkan Anda mengirimkan tugas secara massal dan menerima hasilnya secara otomatis begitu hasilnya siap.
  3. Jalankan permintaan secara paralel untuk memaksimalkan throughput. Lihat contoh ini.
  4. Gunakan sebuah webhook untuk mengambil hasilnya begitu sudah siap.

Beberapa tugas mungkin memerlukan waktu untuk mengekstrak data. Ada beberapa cara untuk menangani waktu tunggu.

  1. Gunakan fitur percobaan ulang. Perlu diingat bahwa sejumlah permintaan scraping mungkin akan menghasilkan kesalahan atau timeout. Biasanya, mencoba sekali lagi sudah cukup untuk mengatasi masalah tersebut.
  2. Gunakan permintaan asinkron. Praktik yang baik adalah mengirimkan permintaan asinkron dan mulai memeriksa hasilnya setelah waktu eksekusi yang diperkirakan. Lihat implementasi Python ini sebagai contoh.
  3. Gunakan webhook untuk mengambil hasilnya begitu sudah siap.

Pengikis Google Maps

Terkadang Google menambahkan kategori lain ke hasil pencarian Anda. Misalnya, saat Anda mencari restoran, Anda mungkin melihat bar, kedai kopi, toko, atau bahkan hotel. Hal ini dapat menyebabkan munculnya data yang tidak relevan, terutama saat Anda menggunakan kategori minor seperti kolam renang.

Outscraper memberi Anda dua alat yang dapat Anda gunakan untuk menghilangkan kategori tersebut.

  1. Kategori tengara di Google Maps

    Gunakan "kecocokan yang tepat”Kotak centang ” . Parameter ini menentukan apakah akan menampilkan hanya kategori yang Anda pilih atau semua yang ditampilkan oleh Google. Pastikan Anda menggunakan kategori yang tepat dengan membuka tempat-tempat serupa di Google dan memeriksa kategorinya.

  2. Menyaring hasil

    Saring hasil dengan menerapkan Filter ke kolom subtipe. Filter tersebut dapat menghilangkan semua data yang tidak relevan dan hanya menampilkan data yang Anda butuhkan. Untuk menghindari hasil yang kosong, pastikan Anda memahami nilai-nilai kolom tersebut sebelum menggunakan Filter.

Ada beberapa kasus ketika lokasi atau/dan kategori yang telah ditentukan sebelumnya tidak cukup. Gunakan opsi "Lokasi khusus" atau/dan "Kategori khusus" untuk memasukkan kategori atau/dan lokasi yang Anda butuhkan.

Ada batasan dari Google Maps yang hanya menampilkan hingga 400-500 tempat per satu pencarian kueri. Ini mungkin menjadi masalah ketika ada lebih banyak perusahaan dalam satu kategori. Misalnya, untuk kueri “restoran, Brooklyn”.

Untuk mengatasinya kami sarankan untuk membagi lokasi menjadi sub-lokasi. Misalnya dengan menggunakan kode pos:
”restoran, Brooklyn 11203”,
”restoran, Brooklyn 11211”,
”restoran, Brooklyn 11215”,

...

Atau menggunakan kueri dengan subkategori:

“Restoran Asia, Brooklyn”,

“Restoran Italia, Brooklyn”,

“Restoran Meksiko, Brooklyn”,

...

Centang tombol “Gunakan kueri” dan masukkan kueri-kueri tersebut.

Untuk memaksa Google mencari perusahaan tertentu saja, lampirkan istilah di antara tanda kutip ” “. NS ” “ operator biasanya digunakan di sekitar kata berhenti (kata-kata yang akan diabaikan oleh Google) atau ketika Anda ingin Google mengembalikan hanya halaman yang sama persis dengan istilah pencarian Anda.

Setelah mengklik tombol "Ekstrak data ..." Anda akan melihat perkiraan tugas dan kueri.

Disarankan untuk mengklik dan membuka beberapa kueri untuk memeriksa tampilannya di situs Google Maps.

Ada dua hal yang harus Anda ikuti untuk mengontrol jumlah hasil yang diharapkan.

1. Batas jumlah organisasi per kueri – batas jumlah organisasi yang dapat diambil dari satu kueri.

2. Jumlah kueri – jumlah kueri pencarian yang akan Anda lakukan.

Ada 6 kueri yang akan dibuat bot untuk mengekstrak data dari 2 kategori dan 3 lokasi.

Oleh karena itu, jumlah yang dihasilkan tidak akan lebih dari 480 organisasi (batas 80 * 6 kueri).

Anda bisa menghapus duplikat dalam satu tugas dengan memilih kotak centang "Drop duplicates".

Ya, Anda dapat menjatuhkan duplikat di dalam satu tugas dengan menggunakan kotak centang "Jatuhkan duplikat" (parameter lanjutan). Atau, Anda dapat menjatuhkannya sendiri dengan menggunakan bidang "google_id" atau "place_id" sebagai pengidentifikasi unik untuk suatu tempat.

Jumlah pasti hasil akan diketahui hanya setelah ekstraksi.

Anda dapat menggunakan "Batas tempat total" untuk membatasi jumlah hasil akhir yang tergores.

Ya. Anda dapat menggunakan tautan berikut sebagai kueri: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” di mana Anda dapat menentukan kueri (real+estate+agency), koordinat (41.4034,2.1718413), dan tingkat zoom (17z). Anda dapat menemukan nilai-nilai ini saat mengunjungi Google Maps.

Sebagai alternatif, Anda dapat menggunakan parameter “coordinates” jika Anda menggunakan API.

Ya, Anda dapat menggunakan Emails & Contacts Scraper bersama dengan scraper Google Maps untuk memperkaya data dari Google. Untuk melakukannya, pilih "Emails & Contacts Scraper" pada bagian "Enrich by other services" di halaman Google Maps Scraper.

Anda hanya akan membayar sesuai dengan hasil yang Anda peroleh, terlepas dari berapa banyak kueri yang Anda lakukan.

Tidak. Tidak ada informasi publik tentang email yang terhubung dengan daftar di Google Maps. Outscraper menggunakan sumber eksternal untuk menemukan email tersebut.

Ya. Anda bisa menggunakan filter dari parameter lanjutan dengan operator berikut ini.

Anda dapat membagi tugas-tugas Anda berdasarkan kota/negara bagian atau atribut unik lainnya. Misalnya, Anda dapat mengekstrak lokasi-lokasi dari New York pada tugas pertama dan lokasi-lokasi dari California pada tugas kedua.

Ya. Untuk menemukan bisnis yang...Untuk mencari bisnis yang tidak memiliki situs web, Anda dapat menggunakan filter pencarian lanjutan kami. Pilih kolom ‘situs’ dan atur menjadi ‘kosong’. Hal ini akan menampilkan bisnis-bisnis yang tidak memiliki situs web. Jika Anda ingin melihat bisnis yang memiliki situs web, cukup atur kolom ‘situs’ menjadi ‘tidak kosong’.

Untuk mengetahui lebih lanjut tentang filter, silakan baca artikel ini: https://outscraper.com/google-maps-data-scraper-filters/

Hubungi kami

Butuh bantuan dengan produk Outscraper? Kami akan memberi Anda bantuan yang Anda butuhkan