Outscraper F.A.Q.

Ogólne

Scraping, harvesting lub extracting to proces pobierania wszystkich informacji z jakiejś publicznej witryny. Automatyzuje on ręczne eksportowanie danych.

Skrobanie i wyodrębnianie danych publicznych jest chronione przez Pierwszą Poprawkę do Konstytucji Stanów Zjednoczonych. Sąd Apelacyjny Dziewiątego Okręgu orzekł, że automatyczne skrobanie publicznie dostępnych danych nie narusza ustawy o oszustwach i nadużyciach komputerowych (CFAA). Należy jednak zasięgnąć porady prawnika w konkretnej sprawie, aby zachować zgodność z przepisami obowiązującymi w danej jurysdykcji.

Każde zadanie skrobania działa w chmurze. Skrobanie nie ma wpływu na adres IP użytkownika.

Sprawdź API Docs lub odwiedź stronę GitHub, aby uzyskać poufne wskazówki dotyczące integracji usług z kodem. Sprawdź blog.

Powiadomienia można wyłączyć na stronie profilu. .

Wyciągamy tylko publicznie dostępne dane, a scraper działa jako przeglądarka dla naukowców, programistów i marketerów.

Mechanizmem gwarantującym, że dane nie zawierają PII, jest wybór kolumn, które mają być zwracane.

No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.

Płatności i subskrypcje

Faktura zostanie wygenerowana na podstawie wykorzystania usług w okresie rozliczeniowym (30 dni). Ceny są podane na stronie.

Poziom bezpłatny to ilość użycia, z której możesz korzystać bezpłatnie każdego miesiąca. Na przykład niektóre produkty X mają bezpłatny poziom z 500 żądaniami miesięcznie. Oznacza to, że każde użycie produktu poniżej 500 żądań w ciągu miesiąca będzie bezpłatne.

Po sfinalizowaniu subskrypcji użytkownik otrzyma fakturę za korzystanie z usług w okresie subskrypcji.

Jeśli nie będziesz w stanie dokonać płatności w ciągu 3 dni, system spróbuje obciążyć Cię automatycznie.

  1. Przed dodaniem kredytów upewnij się, że wprowadziłeś swoje dane na stronie z informacjami rozliczeniowymi (na wypadek, gdybyś potrzebował ich na fakturach lub PO).
  2. Przejdź do strony swojego profilu..
  3. Wprowadź liczbę kredytów, które chcesz dodać.
  4. Wybierz metodę płatności, której chcesz użyć w celu dodania kredytów (karta kredytowa, PayPal itp.).
  5. Po kliknięciu przycisku z metodą płatności postępuj zgodnie z instrukcjami dostawcy metody płatności.

Po wykorzystaniu konta, możesz zobaczyć nadchodzącą fakturę na stronie profilu. Po uzyskaniu należnej kwoty możesz wygenerować fakturę ręcznie, klikając "Generuj fakturę", lub zostanie ona wygenerowana automatycznie w ciągu 30 dni.

Po dodaniu kredytów do konta (opcja przedpłacona) otrzymasz potwierdzenie transakcji pocztą elektroniczną.

Faktury za korzystanie z określonych usług będą generowane po każdym okresie rozliczeniowym (30 dni). Alternatywnie, po uzyskaniu należnej kwoty, możesz wygenerować fakturę ręcznie, klikając "Generuj fakturę" na stronie profilu.

Tak. Outscraper obciąży saldo konta użytkownika za $10 i wystawi dodatkową fakturę z należną kwotą.

Tak.

Nie. Zadanie zostanie ukończone, a jeśli jego wykorzystanie będzie większe niż środki na koncie, otrzymasz fakturę z pozostałą kwotą.

Aby ograniczyć ilość wyodrębnianych danych, można użyć limitów.

  1. Otwórz Outscraper Platform.
  2. Przejdź do Strona z informacjami rozliczeniowymi.
  3. Wprowadź niezbędne informacje rozliczeniowe, które mają być widoczne na fakturach.
  4. Kliknij przycisk Zapisz. Wszystkie przyszłe faktury będą tworzone z wprowadzonymi informacjami.

Poleć znajomego i zacznij otrzymywać 35% płatności za polecenie na saldo konta. Osoba polecona otrzyma 25% zniżki na pierwszą płatność. Uzyskaj link polecający już teraz.

API

Limit zapytań na sekundę zależy od charakteru żądań, usługi i parametrów żądania (ilość wyników, liczba zapytań itp.). Średni QPS wynosi około 20 (miękki limit). Jednak Outscraper może skalować się zgodnie z Twoimi potrzebami. Prosimy o kontakt z zespołem w przypadku potrzeby wyższego QPS.

Tak. API obsługuje wsadowe wysyłanie tablic z maksymalnie 25 zapytaniami (np. query=text1&query=text2&query=text3). Pozwala to na wysyłanie wielu zapytań w jednym żądaniu i oszczędza opóźnienia sieciowe.

Przejdź do strony Historia użycia interfejsu API, aby zobaczyć swoje ostatnie żądania.

Przejdź do strona profilu->API token, aby utworzyć nowy klucz.

Średni czas odpowiedzi wynosi 3-5 sekund. Może to jednak zależeć od typu usługi (zoptymalizowanej pod kątem szybkości lub nie) i liczby zapytań na żądanie (opcja wsadowa).

Istnieje kilka kluczowych punktów, których należy przestrzegać, aby zwiększyć przepustowość interfejsu API.

  1. Upewnij się, że korzystasz z najnowszych wersji punktów końcowych API. Na przykład, lepiej używać Places API V2 zamiast Places API V1. W przypadku korzystania z SDK domyślnie zostanie użyta ostatnia wersja API (np. google_maps_search()).
  2. Użyj batchingu, aby wysłać do 25 zapytań w jednym żądaniu (np. query=text1&query=text2&query=text3). Pozwala to na wysłanie wielu zapytań w jednym żądaniu i zaoszczędzenie czasu opóźnienia sieci.
  3. Uruchamiaj żądania równolegle. Sprawdź ten przykład .
  4. Użyj webhook, aby pobrać wyniki, gdy będą gotowe.

Niektóre zadania mogą wymagać czasu, aby wyodrębnić dane. Istnieje kilka sposobów obsługi limitów czasu.

  1. Używaj ponownych prób. Spodziewaj się, że pewna liczba żądań scrapingu może zwrócić błąd lub przekroczyć limit czasu. Zazwyczaj jeszcze jedna próba rozwiązuje problem.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Użyj webhook, aby pobrać wyniki, gdy będą gotowe.

Skrobak Map Google

Czasami Google dodaje do wyszukiwań inne kategorie. Na przykład, gdy użytkownik wyszukuje restauracje, you might see bary, kawa sklepylub nawet hotele. Może to prowadzić do uzyskania nieistotnych danych, zwłaszcza w przypadku korzystania z mniejszych kategorii, takich jak baseny.

Outscraper udostępnia dwa narzędzia, które można wykorzystać do wyeliminowania tych kategorii.

  1. Kategoria punktów orientacyjnych na Mapach Google

    Użyj przycisku "dokładne dopasowanie". Parametr ten określa, czy mają być zwracane tylko wybrane kategorie, czy też wszystko, co pokazuje Google. Upewnij się, że używasz właściwych kategorii, otwierając podobne miejsca w Google i sprawdzając kategorię.

  2. Filtrowanie wyników

    Filtrowanie wyników przez zastosowanie Filtry do kolumny podtypów. Takie filtry mogą wyeliminować wszystkie nieistotne dane i zwrócić tylko te, które są potrzebne. Aby uniknąć pustych wyników, przed użyciem filtrów należy zapoznać się z wartościami pól.

W niektórych przypadkach predefiniowane lokalizacje i/lub kategorie nie są wystarczające. Użyj opcji "Lokalizacje niestandardowe" i/lub "Kategorie niestandardowe", aby wstawić potrzebne kategorie i/lub lokalizacje.

Mapy Google ograniczają się do wyświetlania maksymalnie 400-500 miejsc na jedno zapytanie. Może to stanowić problem, gdy w jednej kategorii znajduje się więcej firm. Na przykład, dla zapytania "restauracje, Brooklyn".

. Aby temu zaradzić, proponujemy podzielenie lokalizacji na pod-lokalizacje. Na przykład za pomocą kodów pocztowych:
"restauracje, Brooklyn 11203".,
"restauracje, Brooklyn 11211",
"restauracje, Brooklyn 11215",

…

Lub używając zapytań z podkategoriami:

"Restauracje azjatyckie, Brooklyn",

"Włoskie restauracje, Brooklyn",

"Restauracje meksykańskie, Brooklyn",

…

Zaznacz przełącznik "Użyj zapytań" i wprowadź zapytania.

Aby zmusić Google do wyszukiwania tylko określonych firm, należy ująć termin w cudzysłów " ". ten ” “ operator jest zwykle stosowany w przypadku słów stop (słów, które w przeciwnym razie Google by zignorowało) lub gdy chcesz, aby Google zwróciło tylko te strony, które dokładnie odpowiadają wyszukiwanym hasłom.

Po kliknięciu przycisku "Wyodrębnij dane..." pojawi się kosztorys zadania i zapytania.

Zaleca się kliknięcie i otwarcie kilku zapytań, aby sprawdzić, jak wyglądają one w witrynie Mapy Google.

Są dwie rzeczy, których należy przestrzegać, aby kontrolować oczekiwaną liczbę wyników. 1.

1. Organizations per query limit - limit organizacji do pobrania z jednego zapytania.

2. Liczba zapytań - liczba zapytań wyszukiwania, które zamierzasz wykonać.

Bot wykona 6 zapytań w celu pobrania danych z 2 kategorii i 3 lokalizacji.

W związku z tym wynikowa liczba organizacji nie będzie większa niż 480 (limit 80 * 6 zapytań).

Można usunąć duplikaty w jednym zadaniu, zaznaczając pole wyboru "Usuń duplikaty".

Tak, możesz usunąć duplikaty w ramach jednego zadania, korzystając z pola wyboru "Usuń duplikaty" (parametry zaawansowane). Alternatywnie można je usunąć samodzielnie, używając pól "google_id" lub "place_id" jako unikalnych identyfikatorów miejsca.

Dokładna liczba wyników będzie znana dopiero po ekstrakcji.

Możesz użyć opcji "Total places limit", aby ograniczyć ostateczną liczbę zeskrobanych wyników.

Tak. Można użyć następującego linku jako zapytania: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", gdzie można określić zapytanie (real+estate+agency), współrzędne (41.4034,2.1718413) i poziom powiększenia (17z). Wartości te można znaleźć, odwiedzając Mapy Google.

Alternatywnie można użyć parametru "coordinates", jeśli korzysta się z API.

Tak. Możesz użyć Emails & Contacts Scraper wraz z Google Maps scraper, aby wzbogacić dane z Google. Aby to zrobić, wybierz "Skrobaczka e-maili i kontaktów" w sekcji "Wzbogać o inne usługi" na stronie Google Maps Scraper.

Płacisz tylko za uzyskane wyniki, bez względu na liczbę zapytań.

Nie. Nie ma żadnych publicznych informacji na temat e-maili związanych z wpisem na Mapach Google. Outscraper korzysta z zewnętrznych źródeł, aby znaleźć te e-maile.

Tak. Możesz użyć filtrów z parametrów zaawansowanych z następującym operatorem.

Zadania można podzielić według miasta/stanu lub innych unikalnych atrybutów. Na przykład można wyodrębnić miejsca z Nowego Jorku w pierwszym zadaniu i miejsca z Kalifornii w drugim zadaniu.

Tak. To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

Skontaktuj się z nami

Pytania, specjalne potrzeby, problemy... Zawsze chętnie słyszę od Ciebie.