Outscraper FAQ

Umum

Scraping, harvesting, atau extracting adalah proses mendapatkan semua informasi dari beberapa situs publik. Ini mengotomatiskan ekspor data secara manual.
Pengikisan dan penggalian data publik dilindungi oleh Amandemen Pertama Konstitusi Amerika Serikat. Pengadilan Banding Sirkuit Kesembilan memutuskan bahwa pengikisan otomatis data yang dapat diakses publik tidak melanggar Computer Fraud and Abuse Act (CFAA). Meskipun demikian, Anda harus mencari nasihat dari seorang pengacara tentang masalah khusus Anda untuk mematuhi undang-undang di yurisdiksi Anda.
Periksa Dokumen API atau kunjungi GitHub halaman untuk mengetahui bagaimana Anda dapat mengintegrasikan layanan dengan kode Anda. Lihat blog.
Kami hanya mengekstrak data yang tersedia untuk umum, dan scraper berfungsi sebagai browser untuk ilmuwan data, pengembang, dan pemasar. Mekanisme untuk menjamin data bebas PII adalah dengan memilih kolom apa yang ingin Anda kembalikan.

Pembayaran & Langganan

Faktur akan dibuat berdasarkan penggunaan pelayanan selama penagihan periode (30 hari). Harga tertera di halaman.
Tingkat Gratis adalah jumlah penggunaan yang dapat Anda gunakan secara gratis setiap bulan. Misalnya, beberapa produk X memiliki Tingkat Gratis dengan 500 permintaan per bulan. Ini berarti penggunaan produk di bawah 500 permintaan selama sebulan akan gratis.
Ketika langganan akan diselesaikan, Anda akan menerima faktur untuk penggunaan pelayanan selama periode berlangganan. Jika Anda tidak dapat melakukan pembayaran dalam waktu 3 hari, sistem akan mencoba menagih Anda secara otomatis.
Setelah Anda memiliki beberapa penggunaan, Anda dapat melihat faktur yang akan datang pada Halaman Profil. Setelah Anda memiliki jumlah yang harus dibayar, Anda dapat membuat faktur secara manual dengan mengklik "Generate Invoice" atau akan dibuat secara otomatis dalam waktu 30 hari.
Setelah Anda menambahkan kredit ke akun Anda (opsi prabayar), Anda akan menerima tanda terima untuk transaksi melalui email. Faktur dengan penggunaan layanan tertentu akan dibuat setelah setiap periode penagihan (30 hari). Atau, setelah Anda memiliki jumlah yang harus dibayar, Anda dapat membuat faktur secara manual dengan mengklik "Buat Faktur" pada Halaman Profil.

Ya. Outscraper akan membebankan saldo akun Anda untuk $10 dan mengeluarkan faktur tambahan dengan jumlah yang harus dibayar.

Tugas akan selesai dan jika penggunaan tugas akan lebih besar dari kredit akun Anda, Anda hanya akan menerima faktur dengan penggunaan yang belum dibayar.

Anda bisa menggunakan limit untuk membatasi jumlah data yang diekstrak.

API

Batas kueri per detik (QPS) tergantung pada sifat permintaan (layanan, batas hasil, dll.). QPS rata-rata adalah sekitar 20. Hubungi kami kalau-kalau Anda memerlukan lebih banyak lagi.

Ya. API mendukung pengelompokan dengan mengirimkan array hingga 25 kueri (misalnya, query=text1&query=text2&query=text3). Hal ini memungkinkan beberapa kueri dikirim dalam satu permintaan dan menghemat waktu latensi jaringan.

Arahkan ke Halaman Riwayat Penggunaan API untuk melihat permintaan terbaru Anda.

Arahkan ke halaman profil->API token untuk membuat kunci baru.

Waktu respons rata-rata adalah 3-5 detik. Tetapi mungkin tergantung pada jenis layanan (kecepatan dioptimalkan atau tidak) dan jumlah kueri per permintaan (opsi batch).

Pengikis Google Maps

Terkadang Google menambahkan kategori lain ke pencarian Anda. Misalnya, ketika Anda mencari restoran Anda mungkin melihat bar, kopi toko-tokoatau bahkan hotel. Hal ini bisa menyebabkan data yang tidak relevan, khususnya apabila Anda menggunakan beberapa kategori kecil seperti kolam renang.

Outscraper memberi Anda dua alat yang dapat Anda gunakan untuk menghilangkan kategori tersebut.

  1. Kategori tengara di Google Maps

    Gunakan "kecocokan yang tepat" kotak centang. Parameter menentukan apakah hanya mengembalikan kategori yang Anda pilih atau semua yang ditampilkan Google. Pastikan Anda menggunakan kategori yang tepat dengan membuka tempat yang serupa di google dan memeriksa kategorinya.

  2. Menyaring hasil

    Filter hasil dengan menerapkan Filter ke kolom subtipe. Filter tersebut dapat mengeliminasi semua data yang tidak relevan dan hanya mengembalikan apa yang Anda perlukan. Untuk menghindari hasil yang kosong, pastikan Anda sudah familiar dengan nilai-nilai kolom sebelum menggunakan Filter.

Ada beberapa kasus ketika lokasi atau/dan kategori yang telah ditentukan sebelumnya tidak cukup. Gunakan opsi "Lokasi khusus" atau/dan "Kategori khusus" untuk memasukkan kategori atau/dan lokasi yang Anda butuhkan.
Ada batasan dari Google Maps yang hanya menampilkan hingga 400-500 tempat per satu pencarian kueri. Ini mungkin menjadi masalah ketika ada lebih banyak perusahaan dalam satu kategori. Misalnya, untuk kueri “restoran, Brooklyn”. Untuk mengatasi hal ini, kami menyarankan untuk membagi lokasi menjadi sub-lokasi. Misalnya, dengan menggunakan kode pos: ”restoran, Brooklyn 11203”, ”restoran, Brooklyn 11211”, ”restoran, Brooklyn 11215, ... Atau menggunakan kueri dengan sub-kategori: “Restoran Asia, Brooklyn”, “Restoran Italia, Brooklyn”, “Restoran Meksiko, Brooklyn”, …
Centang pengalih "Gunakan kueri" dan masukkan kueri.
Untuk memaksa Google mencari perusahaan tertentu saja, lampirkan istilah di antara tanda kutip ” “. NS ” “ operator biasanya digunakan di sekitar kata berhenti (kata-kata yang akan diabaikan oleh Google) atau ketika Anda ingin Google mengembalikan hanya halaman yang sama persis dengan istilah pencarian Anda.
Setelah mengklik tombol "Ekstrak data ..." Anda akan melihat perkiraan tugas dan kueri. Disarankan untuk mengklik dan membuka beberapa kueri untuk memeriksa tampilannya di situs Google Maps.
Ada dua hal yang harus Anda ikuti untuk mengontrol jumlah hasil yang diharapkan. 1. Organisasi per batas kueri – batas organisasi untuk mengambil dari satu kueri. 2. Jumlah pertanyaan – jumlah kueri penelusuran yang akan Anda buat. Ada 6 kueri yang akan dibuat bot untuk mengekstrak data dari 2 kategori dan 3 lokasi. Oleh karena itu, jumlah yang dihasilkan tidak akan lebih dari 480 organisasi (batas 80 * 6 kueri).

Anda bisa menghapus duplikat dalam satu tugas dengan memilih kotak centang "Drop duplicates".

Ya, Anda dapat menjatuhkan duplikat di dalam satu tugas dengan menggunakan kotak centang "Jatuhkan duplikat" (parameter lanjutan). Atau, Anda dapat menjatuhkannya sendiri dengan menggunakan bidang "google_id" atau "place_id" sebagai pengidentifikasi unik untuk suatu tempat.

Jumlah hasil yang tepat hanya akan diketahui setelah ekstraksi. Anda bisa menggunakan "Total places limit" untuk membatasi jumlah akhir hasil yang dikeruk.
Ya. Anda bisa menggunakan tautan berikut sebagai kueri "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" di mana Anda bisa menentukan kueri (real+estate+agency), koordinat (41.4034,2.1718413) dan tingkat zoom (17z). Anda bisa menemukan nilai-nilai ini saat mengunjungi Google Maps. Atau, Anda dapat menggunakan parameter "koordinat" jika Anda menggunakan API.
Ya. Anda bisa menggunakan Pengikis Email & Kontak bersama dengan Google Maps scraper untuk memperkaya data dari Google. Untuk melakukannya, pilih "Emails & Contacts Scraper" di bagian "Enrich by other services" pada Halaman Scraper Google Maps.

Tidak. Tidak ada informasi publik tentang email yang terhubung dengan daftar di Google Maps. Outscraper menggunakan sumber eksternal untuk menemukan email tersebut.

Ya. Anda bisa menggunakan filter dari parameter lanjutan dengan operator berikut ini.

You can split your tasks by city/state or by some other unique attributes. For example, you can extract places from New York in the first task, and extract the places from California in the second task.

Hubungi kami

Pertanyaan, kebutuhan khusus, masalah... Selalu senang mendengar dari Anda.