Outscraper F.A.Q.

Ogólne

Scraping, harvesting lub extracting to proces pobierania wszystkich informacji z jakiejś publicznej witryny. Automatyzuje on ręczne eksportowanie danych.

Skrobanie i wyodrębnianie danych publicznych jest chronione przez Pierwszą Poprawkę do Konstytucji Stanów Zjednoczonych. Sąd Apelacyjny Dziewiątego Okręgu orzekł, że automatyczne skrobanie publicznie dostępnych danych nie narusza ustawy o oszustwach i nadużyciach komputerowych (CFAA). Należy jednak zasięgnąć porady prawnika w konkretnej sprawie, aby zachować zgodność z przepisami obowiązującymi w danej jurysdykcji.

Każde zadanie skrobania działa w chmurze. Skrobanie nie ma wpływu na adres IP użytkownika.

Sprawdź API Docs lub odwiedź stronę GitHub, aby uzyskać poufne wskazówki dotyczące integracji usług z kodem. Sprawdź blog.

Powiadomienia można wyłączyć na stronie profilu..

Wyciągamy tylko publicznie dostępne dane, a scraper działa jako przeglądarka dla naukowców, programistów i marketerów.

Mechanizmem gwarantującym, że dane nie zawierają PII, jest wybór kolumn, które mają być zwracane.

Nie. Wszystkie operacje pozyskiwania danych odbywają się na serwerach Outscraper, co gwarantuje, że Twój adres IP nie jest wykorzystywany do tego celu. Oznacza to również, że podczas wykonywania zadań pozyskiwania danych komputer może być wyłączony.

Płatności i subskrypcje

Faktura zostanie wygenerowana na podstawie wykorzystania usług w okresie rozliczeniowym (30 dni). Ceny są podane na stronie.

Poziom bezpłatny to ilość użycia, z której możesz korzystać bezpłatnie każdego miesiąca. Na przykład niektóre produkty X mają bezpłatny poziom z 500 żądaniami miesięcznie. Oznacza to, że każde użycie produktu poniżej 500 żądań w ciągu miesiąca będzie bezpłatne.

Po sfinalizowaniu subskrypcji użytkownik otrzyma fakturę za korzystanie z usług w okresie subskrypcji.

Jeśli nie będziesz w stanie dokonać płatności w ciągu 3 dni, system spróbuje obciążyć Cię automatycznie.

  1. Przed dodaniem kredytów upewnij się, że wprowadziłeś swoje dane na stronie z informacjami rozliczeniowymi (na wypadek, gdybyś potrzebował ich na fakturach lub PO).
  2. Przejdź do strony swojego profilu..
  3. Wprowadź liczbę kredytów, które chcesz dodać.
  4. Wybierz metodę płatności, której chcesz użyć w celu dodania kredytów (karta kredytowa, PayPal itp.).
  5. Po kliknięciu przycisku z metodą płatności postępuj zgodnie z instrukcjami dostawcy metody płatności.

Po wykorzystaniu konta, możesz zobaczyć nadchodzącą fakturę na stronie profilu. Po uzyskaniu należnej kwoty możesz wygenerować fakturę ręcznie, klikając "Generuj fakturę", lub zostanie ona wygenerowana automatycznie w ciągu 30 dni.

Po dodaniu kredytów do konta (opcja przedpłacona) otrzymasz potwierdzenie transakcji pocztą elektroniczną.

Faktury za korzystanie z określonych usług będą generowane po każdym okresie rozliczeniowym (30 dni). Alternatywnie, po uzyskaniu należnej kwoty, możesz wygenerować fakturę ręcznie, klikając "Generuj fakturę" na stronie profilu.

Tak. Outscraper obciąży saldo konta użytkownika za $10 i wystawi dodatkową fakturę z należną kwotą.

Tak.

Nie. Zadanie zostanie ukończone, a jeśli jego wykorzystanie będzie większe niż środki na koncie, otrzymasz fakturę z pozostałą kwotą.

Aby ograniczyć ilość wyodrębnianych danych, można użyć limitów.

  1. Otwórz Outscraper Platform.
  2. Przejdź do Strona z informacjami rozliczeniowymi.
  3. Wprowadź niezbędne informacje rozliczeniowe, które mają być widoczne na fakturach.
  4. Kliknij przycisk Zapisz. Wszystkie przyszłe faktury będą tworzone z wprowadzonymi informacjami.

Poleć znajomego i zacznij otrzymywać 35% płatności za polecenie na saldo konta. Osoba polecona otrzyma 25% zniżki na pierwszą płatność. Uzyskaj link polecający już teraz.

API

Limit zapytań (żądań) na sekundę zależy od charakteru żądań, usługi oraz parametrów żądania (liczba wyników, liczba zapytań itp.). Średnia wartość QPS wynosi około 20 (limit miękkie). Jednak usługa Outscraper może być skalowana zgodnie z Państwa potrzebami. Proszę skontaktuj się z zespołem na wypadek, gdybyś potrzebował wyższej liczby operacji na sekundę (QPS).

Tak. API obsługuje wsadowe wysyłanie tablic z maksymalnie 25 zapytaniami (np. query=text1&query=text2&query=text3). Pozwala to na wysyłanie wielu zapytań w jednym żądaniu i oszczędza opóźnienia sieciowe.

Przejdź do strony Historia użycia interfejsu API, aby zobaczyć swoje ostatnie żądania.

Przejdź do strona profilu->API token, aby utworzyć nowy klucz.

Średni czas odpowiedzi wynosi 3-5 sekund. Może to jednak zależeć od typu usługi (zoptymalizowanej pod kątem szybkości lub nie) i liczby zapytań na żądanie (opcja wsadowa).

Aby poprawić wydajność i przepustowość interfejsu API, należy stosować się do poniższych zaleceń.
  1. Skorzystaj z funkcji grupowania, aby wysłać wiele zapytań w jednym żądaniu (na przykład: query=text1&query=text2&query=text3).
  2. Posługiwać się async=true (domyślnie) w celu wysyłania zadań bez utrzymywania otwartego połączenia HTTP. Pomaga to zapobiegać przekroczeniom limitu czasu i umożliwia wydajne kolejkowanie wielu żądań. W połączeniu z webhookiem pozwala to na zbiorcze wysyłanie zadań i automatyczne otrzymywanie wyników, gdy tylko będą gotowe.
  3. Uruchamiaj żądania równolegle, aby zmaksymalizować przepustowość. Sprawdź ten przykład.
  4. Użyj webhook aby pobrać wyniki, gdy tylko będą gotowe.

Niektóre zadania mogą wymagać czasu, aby wyodrębnić dane. Istnieje kilka sposobów obsługi limitów czasu.

  1. Używaj ponownych prób. Spodziewaj się, że pewna liczba żądań scrapingu może zwrócić błąd lub przekroczyć limit czasu. Zazwyczaj jeszcze jedna próba rozwiązuje problem.
  2. Używaj żądań asynchronicznych. Dobrą praktyką jest wysyłanie żądań asynchronicznych i rozpoczęcie sprawdzania wyników po szacowanym czasie wykonania. Sprawdź tę implementację Pythona jako przykład.
  3. Użyj webhook, aby pobrać wyniki, gdy będą gotowe.

Skrobak Map Google

Czasem Google dodaje inne kategorie do wyszukiwań. Na przykład, gdy szukasz restauracji, możesz zobaczyć bary, kawiarnie, sklepy, a nawet hotele. Może to prowadzić do nieistotnych danych, zwłaszcza w przypadku korzystania z mniejszych kategorii, takich jak baseny.

Outscraper udostępnia dwa narzędzia, które można wykorzystać do wyeliminowania tych kategorii.

  1. Kategoria punktów orientacyjnych na Mapach Google

    Użyj przycisku "dokładne dopasowanie". Parametr ten określa, czy mają być zwracane tylko wybrane kategorie, czy też wszystko, co pokazuje Google. Upewnij się, że używasz właściwych kategorii, otwierając podobne miejsca w Google i sprawdzając kategorię.

  2. Filtrowanie wyników

    Filtruj wyniki, stosując filtry do kolumny podtypów. Takie filtry mogą wyeliminować wszystkie nieistotne dane i zwrócić tylko to, czego potrzebujesz. Aby uniknąć pustych wyników, upewnij się, że znasz wartości pól przed użyciem filtrów.

W niektórych przypadkach predefiniowane lokalizacje i/lub kategorie nie są wystarczające. Użyj opcji "Lokalizacje niestandardowe" i/lub "Kategorie niestandardowe", aby wstawić potrzebne kategorie i/lub lokalizacje.

Mapy Google ograniczają się do wyświetlania maksymalnie 400-500 miejsc na jedno zapytanie. Może to stanowić problem, gdy w jednej kategorii znajduje się więcej firm. Na przykład, dla zapytania "restauracje, Brooklyn".

. Aby temu zaradzić, proponujemy podzielenie lokalizacji na pod-lokalizacje. Na przykład za pomocą kodów pocztowych:
"restauracje, Brooklyn 11203".,
"restauracje, Brooklyn 11211",
"restauracje, Brooklyn 11215",

…

Lub używając zapytań z podkategoriami:

"Restauracje azjatyckie, Brooklyn",

"Włoskie restauracje, Brooklyn",

"Restauracje meksykańskie, Brooklyn",

…

Zaznacz przełącznik "Użyj zapytań" i wprowadź zapytania.

Aby zmusić Google do wyszukiwania tylko określonych firm, należy ująć termin w cudzysłów " ". ten ” “ operator jest zwykle stosowany w przypadku słów stop (słów, które w przeciwnym razie Google by zignorowało) lub gdy chcesz, aby Google zwróciło tylko te strony, które dokładnie odpowiadają wyszukiwanym hasłom.

Po kliknięciu przycisku "Wyodrębnij dane..." pojawi się kosztorys zadania i zapytania.

Zaleca się kliknięcie i otwarcie kilku zapytań, aby sprawdzić, jak wyglądają one w witrynie Mapy Google.

Są dwie rzeczy, których należy przestrzegać, aby kontrolować oczekiwaną liczbę wyników. 1.

1. Organizations per query limit - limit organizacji do pobrania z jednego zapytania.

2. Liczba zapytań - liczba zapytań wyszukiwania, które zamierzasz wykonać.

Bot wykona 6 zapytań w celu pobrania danych z 2 kategorii i 3 lokalizacji.

W związku z tym wynikowa liczba organizacji nie będzie większa niż 480 (limit 80 * 6 zapytań).

Można usunąć duplikaty w jednym zadaniu, zaznaczając pole wyboru "Usuń duplikaty".

Tak, możesz usunąć duplikaty w ramach jednego zadania, korzystając z pola wyboru "Usuń duplikaty" (parametry zaawansowane). Alternatywnie można je usunąć samodzielnie, używając pól "google_id" lub "place_id" jako unikalnych identyfikatorów miejsca.

Dokładna liczba wyników będzie znana dopiero po ekstrakcji.

Możesz użyć opcji "Total places limit", aby ograniczyć ostateczną liczbę zeskrobanych wyników.

Tak. Można użyć następującego linku jako zapytania: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", gdzie można określić zapytanie (real+estate+agency), współrzędne (41.4034,2.1718413) i poziom powiększenia (17z). Wartości te można znaleźć, odwiedzając Mapy Google.

Alternatywnie można użyć parametru "coordinates", jeśli korzysta się z API.

Tak. Możesz użyć Emails & Contacts Scraper wraz z Google Maps scraper, aby wzbogacić dane z Google. Aby to zrobić, wybierz "Skrobaczka e-maili i kontaktów" w sekcji "Wzbogać o inne usługi" na stronie Google Maps Scraper.

Płacisz tylko za uzyskane wyniki, bez względu na liczbę zapytań.

Nie. Nie ma żadnych publicznych informacji na temat e-maili związanych z wpisem na Mapach Google. Outscraper korzysta z zewnętrznych źródeł, aby znaleźć te e-maile.

Tak. Możesz użyć filtrów z parametrów zaawansowanych z następującym operatorem.

Zadania można podzielić według miasta/stanu lub innych unikalnych atrybutów. Na przykład można wyodrębnić miejsca z Nowego Jorku w pierwszym zadaniu i miejsca z Kalifornii w drugim zadaniu.

Tak. Aby znaleźć firmy, które…Aby wyświetlić firmy bez stron internetowych, możesz skorzystać z naszych zaawansowanych filtrów wyszukiwania. Wybierz pole ‘strona’ i ustaw opcję ‘jest puste’. Spowoduje to wyświetlenie firm, które nie posiadają strony internetowej. Jeśli chcesz wyświetlić firmy posiadające strony internetowe, wystarczy ustawić w polu ‘strona’ opcję ‘nie jest puste’.

Aby dowiedzieć się więcej na temat filtrów, zapraszamy do zapoznania się z tym artykułem: https://outscraper.com/google-maps-data-scraper-filters/

Skontaktuj się z nami

Potrzebujesz pomocy z produktami Outscraper? Udzielimy Ci potrzebnej pomocy