Outscraper SSS

Genel

Scraping, harvesting veya extracting işlemleri, belirli bir halka açık site üzerindeki tüm bilgileri elde etme sürecidir. Bu, verilerin manuel olarak dışa aktarılmasını otomatikleştirir.

Halka açık verilerin kazınması ve çıkarılması, Amerika Birleşik Devletleri Anayasası'nın Birinci Değişikliği tarafından koruma altındadır. Dokuzuncu Devre Temyiz Mahkemesi, halka açık verilerin otomatik olarak kazınmasının Bilgisayar Dolandırıcılığı ve Suistimali Yasası'nı (CFAA) ihlal etmediğine hükmetmiştir. Bununla birlikte, belirli durumunuzla ilgili yasalara uyum sağlamak için bir avukatın danışmanlığına başvurmanız önerilir.

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Servisleri kodunuzla nasıl entegre edebileceğiniz hakkında içeriden ipuçları almak için API Dokümantasyonlarına göz atın veya GitHub sayfasını ziyaret edin. Ayrıca blogumuzu da kontrol edebilirsiniz.

üzerindeki bildirimleri kapatabilirsiniz. profil sayfası.

Yalnızca kamuya açık verileri ayıklıyoruz. Kazıyıcı servisimiz, veri bilimciler, geliştiriciler ve pazarlamacılar için otomatik tarayıcı olarak çalışıyor. Özel bir veriyi kazımıyoruz.

Kişisel Tanımlanabilir Bilgi (PII) içermeyen verileri garanti altına almak için yapmanız gereken şey sonuç dosyasında gösterilecek veri sütunlarını görevi oluştururken belirlemektir.

No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.

Ödemeler & Abonelikler

Fatura, hizmetlerin kullanımına dayanarak fatura dönemi (30 gün) boyunca oluşturulacaktır. Kullanım ücretleri fiyatlandırma sayfasında listelenmektedir.

Ücretsiz deneme hakkı, her ay ücretsiz olarak kullanabileceğiniz kullanım miktarıdır. Örneğin, kullandığınız aracın ayda 500 istek içeren kredisi vardır. Bu ücretsiz krediyi bir ay boyunca kullanabilirsiniz.

Bir abonelik tamamlandığında, abonelik süresi boyunca hizmetlerin kullanımı için bir fatura alacaksınız.

3 gün içinde ödeme yapamamanız durumunda, sistem otomatik olarak sizden tahsilat yapmaya çalışacaktır.

  1. Kredileri eklemeden önce, faturalar veya satın alma siparişleri gibi durumlarda ihtiyaç duymanız halinde, Bilgiler sayfasında bilgilerinizi girdiğinizden emin olun.
  2. Profil sayfanıza gidin.
  3. Eklemek istediğiniz kredi miktarını girin.
  4. Ödeme yöntemini seçin.
  5. Ödeme yöntemiyle ilgili düğmeye tıkladıktan sonra, ödeme yöntemi sağlayıcısının adımlarını izleyin.

Bir miktar kullanımınız olduğunda, Profil Sayfası'nda yaklaşan faturayı görebilirsiniz. Ödenecek miktarı bildikten sonra, "Fatura Oluştur" düğmesine tıklayarak faturayı manuel olarak oluşturabilirsiniz veya otomatik olarak 30 gün içinde oluşturulacaktır.

Hesabınıza kredi eklediğinizde (ön ödemeli seçenek), işlem için makbuz e-posta yoluyla alacaksınız.

Belirli hizmetlerin kullanımına ilişkin faturalar, her fatura dönemi (30 gün) sonrasında oluşturulacaktır. Alternatif olarak, ödenecek miktarı bildiğinizde, Profil Sayfası'ndaki "Fatura Oluştur" düğmesine tıklayarak faturayı manuel olarak oluşturabilirsiniz.

Evet. Outscraper, $10 için hesap bakiyenizi tahsil edecek ve ödenmesi gereken tutarla birlikte ek bir fatura düzenleyecektir.

Evet.

Hayır. Görev tamamlanacak ve görev kullanımı hesap kredinizden daha fazla olacaksa, sadece ödenmemiş kullanımı içeren bir fatura alacaksınız.

Çıkarılan veri miktarını sınırlamak için limitleri kullanabilirsiniz.

  1. Outscraper Uygulama Menüsünü açın.
  2. Şu adrese gidin Billing Information page.
  3. Faturalarınızda görmek istediğiniz gerekli fatura bilgilerini girin.
  4. Kaydet düğmesine tıklayın. Gelecekteki tüm faturalarınız, girdiğiniz bilgilerle oluşturulacaktır

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

Outscraper Google Haritalar Yorumları API

Saniye başına yapılan sorgu limiti, isteklerin doğası, hizmet ve istek parametreleri (sonuç miktarı, sorgu sayısı vb.) üzerinde bağlıdır. Ortalama QPS (saniye başına sorgu) değeri yaklaşık olarak 20'dir (soft limit). Bununla birlikte, Outscraper ihtiyaçlarınıza göre ölçeklendirilebilir. Daha yüksek bir QPS gerektiğinde, lütfen ekip ile iletişime geçin.

Evet, API, en fazla 25 sorgu içeren dizileri göndererek toplu işlemi destekler (örneğin, query=text1&query=text2&query=text3). Bu, birden çok sorgunun tek bir istekte gönderilmesine ve ağ gecikmesinden tasarruf sağlanmasına olanak tanır.

API Kullanım Geçmişi sayfasına giderek en son işlemleri görebilirsiniz.

Şuraya gidin profil sayfasıYeni bir anahtar oluşturmak için ->API belirteci.

Ortalama yanıt süresi 3-5 saniyedir. Ancak bu, hizmetin (hız optimizasyonlu veya değil) türüne ve istek başına sorgu sayısına (toplu seçenek) bağlı olabilir.

API'nin verimliliğini artırmak için izlemeniz gereken birkaç önemli nokta vardır:

  1. API uç noktalarının en son sürümlerini kullandığınızdan emin olun. Örneğin, Places API V2'yi tercih edin ve Places API V1 yerine kullanın. SDK kullanımında varsayılan olarak en son API sürümü kullanılacaktır (örneğin, google_maps_search()).
  2. 25 sorguya kadar batch edin(örneğin, query=text1&query=text2&query=text3). Bu, birden çok sorgunun tek bir istekte gönderilmesine ve ağ gecikme süresinden tasarruf edilmesine olanak sağlar.
  3. İstekleri paralel olarak çalıştırın. Bu örneğe buradan ulaşabilirsiniz.
  4. Sonuçlar hazır olduğunda almak için bir webhook kullanın.

Bazı görevler uzun sürebilir. Zaman aşımını yönetmek için birkaç yöntem bulunmaktadır.

  1. Yeniden denemeler yapın. Bazı kazıma isteklerinin hata veya zaman aşımı döndürebileceğini bekleyin. Genellikle bir kez daha denemek sorunu çözer.
  2. Async istekler kullanın. İyi bir uygulama, async istekleri göndermek ve tahmini yürütme süresinden sonra sonuçları kontrol etmeye başlamaktır. Bu örneğe bu Python uygulamasından bakabilirsiniz.
  3. Sonuçlar hazır olduğunda almak için bir webhook kullanın.

Google Haritalar Veri Kazıyıcı

Bazen Google aramalarınıza başka kategoriler ekler. Örneğin, restoranlar araması yaptığınızda, barlar, kahve dükkanları veya hatta oteller görebilirsiniz. Bu özellikle yüzme havuzları gibi küçük kategorileri kullandığınızda ilgisiz verilere yol açabilir.

Outscraper, bu kategorileri ortadan kaldırmak için kullanabileceğiniz iki araç sağlar.

  1. Google Haritalar'daki dönüm noktası kategorisi

    "tam eşleşme” checkbox. The parameter specifies whether to return only the categories you selected or everything that Google shows. Make sure you are using the right categories by opening similar places on Google and checking the category.

  2. Sonuçları filtreleme

    Göreve Filtreler uygulayarak sonuçları filtreleyin. Bu tür filtreler gereksiz verileri ortadan kaldırabilir ve sadece ihtiyacınız olanları döndürebilir. Boş sonuçlardan kaçınmak için, Filtreleri kullanmadan önce alanların değerlerine aşina olduğunuzdan emin olun.

Önceden tanımlanmış konumların ve/veya kategorilerin yeterli olmadığı bazı durumlar vardır. İhtiyacınız olan kategorileri ve/veya konumları eklemek için "Özel konumlar" ve/veya "Özel kategoriler" seçeneklerini kullanın.

Google Haritalar'da, bir sorgu araması başına yalnızca 400-500'e kadar yer gösteren bir sınırlama vardır. Bir kategoride daha fazla şirket olduğunda bu bir sorun olabilir. Örneğin, sorgu için “restoranlar, Brooklyn”.

Bunun üstesinden gelmek için konumu alt konumlara ayırmanızı öneririz. Örneğin, posta kodlarını kullanarak:
”restaurants, Brooklyn 11203”,
”restaurants, Brooklyn 11211”,
”restaurants, Brooklyn 11215”,

…

Veya alt kategorileri olan sorguları kullanarak:

“Asian restaurants, Brooklyn”,

“Italian restaurants, Brooklyn”,

“Mexican restaurants, Brooklyn”,

…

Lütfen "Düz sorgular" seçeneğini açın ve sorguları girin

Google'ı yalnızca belirli şirketleri aramaya zorlamak için, " " terimini tırnak işaretleri arasına alın. NS ” “ operatörü genellikle durma sözcükleri (Google'ın yoksayacağı sözcükler) etrafında veya Google'ın yalnızca arama terimlerinizle tam olarak eşleşen sayfaları döndürmesini istediğinizde kullanılır.

“Görevi başlat” düğmesine tıkladıktan sonra görev tahminini ve sorguları göreceksiniz.

Google Haritalar sitesinde nasıl göründüğünü kontrol etmek için birkaç sorguyu tıklayıp açmanız önerilir.

Beklenen sonuç sayısını kontrol etmek için izlemeniz gereken iki şey vardır.

1.Her bir sorgu başına gösterilen sonuçların limiti - bir sorgudan alınacak organizasyonların sınırı.

2.Sorgu sayısı - yapacağınız arama sorgularının miktarı.

Botun 2 kategori ve 3 konumdan verileri çıkarmak için yapacağı 6 sorgu vardır.

Bu nedenle, ortaya çıkan miktar 480'den fazla kuruluş olmayacaktır (80 * 6 sorgu sınırı).

Evet. Bunu engellemek için "Yinelenen sonuçları dahil etme" onay kutusunu seçerek tek bir görevdeki yinelenenleri kaldırabilirsiniz.

Evet, tek bir görev içinde yinelenen sonuçları yani mükerrer kayıtları dahil etmemek için "Yinelenen sonuçları dahil etme" kutusunu (gelişmiş parametreler'de) kullanabilirsiniz. Alternatif olarak, bir mekan için benzersiz tanımlayıcılar olarak "google_id" veya "place_id" alanlarını kullanarak kendiniz atlayabilirsiniz.

Kesin sonuç sayısı ancak görev tamamlandıktan sonra bilinebilmektedir.

Sonuç dosyasında kayıtların nihai miktarını sınırlamak için "Toplam yer sınırı"nı kullanabilirsiniz.

Evet, bir sorgu olarak şu bağlantıyı kullanabilirsiniz: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z". Bu bağlantıda bir sorguyu (real+estate+agency), koordinatları (41.4034,2.1718413) ve yakınlaştırma düzeyini (17z) belirtebilirsiniz. Bu değerleri Google Haritalar'ı ziyaret ederken de bulabilirsiniz.

Alternatif olarak, Outscraper API kullanıyorsanız "coordinates" parametresini kullanabilirsiniz.

Evet, Google Haritalar Veri Kazıyıcı ile birlikte E-postalar ve Kişiler Kazıyıcı'yı kullanarak Google'dan verileri zenginleştirebilirsiniz. Bunun için, Google Haritalar Veri Kazıyıcı servis sayfasında "Sonuçları diğer hizmetlerle zenginleştirin" bölümünde "E-postalar ve İletişim Bilgileri Çekici" seçeneğini seçin.

Yaptığınız sorgu sayısına bakılmaksızın, sadece çıkardığınız sonuçlar için ödeme yaparsınız.

Hayır, Google Haritalar'da e-posta adresleri gösterilmez. Outscraper, bu e-posta adreslerini bulmak için harici kaynaklar kullanmaktadır.

Evet. Gelişmiş parametrelerdeki filtreleri aşağıdaki operatörle kullanabilirsiniz.

Görevlerinizi şehir/eyalet veya diğer bazı benzersiz niteliklere göre parçalara ayırarak görevler oluşturabilirsiniz. Örneğin, ilk görevde New York'taki yerleri çıkarabilir ve ikinci görevde Kaliforniya'daki yerleri çıkarabilirsiniz. Böylelikle önceki görevlerde bulunan sonuçların tekrar etmesinin önüne geçersiniz. Bunun dışında bir önlem yoktur.

Evet. To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

Bizimle İletişime Geçin

Hizmetlerimiz hakkında bir sorunuz varsa veya projeniz için özel bir talebiniz varsa sizinle görüşmekten mutluluk duyarız. Bize aşağıdaki form üzerinden ulaşabilirsiniz.