Outscraper F.A.Q.

Ogólne

Scraping, harvesting lub extracting to proces pobierania wszystkich informacji z jakiejś publicznej witryny. Automatyzuje on ręczne eksportowanie danych.
Skrobanie i wydobywanie danych publicznych jest chronione przez Pierwszą Poprawkę do Konstytucji Stanów Zjednoczonych. Sąd Apelacyjny Dziewiątego Okręgu orzekł, że automatyczne skrobanie publicznie dostępnych danych nie narusza ustawy o oszustwach i nadużyciach komputerowych (Computer Fraud and Abuse Act, CFAA). Należy jednak zasięgnąć porady prawnika w konkretnej sprawie, aby zachować zgodność z prawem obowiązującym w danej jurysdykcji.
Kasa Dokumenty API lub odwiedzić GitHub aby dowiedzieć się, jak można zintegrować usługi z własnym kodem. Zajrzyj na stronę blog.
Powiadomienia można wyłączyć na stronie strona profilu.
Wyciągamy tylko publicznie dostępne dane, a scraper działa jako przeglądarka dla naukowców, programistów i marketerów. Mechanizmem gwarantującym, że dane nie zawierają PII, jest wybór kolumn, które mają być zwracane.

Płatności i subskrypcje

Faktura zostanie wygenerowana w oparciu o wykorzystanie służby podczas billing okres (30 dni). Ceny są podane na stronie strona.
Poziom bezpłatny to ilość użycia, z której możesz korzystać bezpłatnie każdego miesiąca. Na przykład niektóre produkty X mają bezpłatny poziom z 500 żądaniami miesięcznie. Oznacza to, że każde użycie produktu poniżej 500 żądań w ciągu miesiąca będzie bezpłatne.
Po sfinalizowaniu subskrypcji otrzymasz fakturę za użytkowanie służby w okresie subskrypcji. Jeśli nie będziesz w stanie dokonać płatności w ciągu 3 dni, system spróbuje obciążyć Cię automatycznie.
Po pewnym czasie użytkowania można zobaczyć nadchodzącą fakturę na stronie strona profilu. Po określeniu należnej kwoty można wygenerować fakturę ręcznie, klikając przycisk "Generuj fakturę", lub wygenerować ją automatycznie w ciągu 30 dni.
Po dodaniu kredytów do swojego konta (opcja przedpłacona) otrzymasz potwierdzenie transakcji pocztą elektroniczną. Faktury za korzystanie z poszczególnych usług będą generowane po każdym okresie rozliczeniowym (30 dni). Alternatywnie, po uzyskaniu należnej kwoty, możesz wygenerować fakturę ręcznie, klikając przycisk "Generuj fakturę" na stronie strona profilu.

Nie. Zadanie zostanie ukończone, a jeśli jego wykorzystanie będzie większe niż środki na koncie, otrzymasz fakturę z pozostałą kwotą.

Aby ograniczyć ilość wyodrębnianych danych, można użyć limitów.

API

Limit zapytań na sekundę (QPS) zależy od charakteru żądań (usługa, limit wyników itp.). Średni QPS wynosi ok. 20. Skontaktuj się z nami na wypadek, gdybyś potrzebował jeszcze więcej.

Tak. API obsługuje przesyłanie wsadowe poprzez wysyłanie tablic zawierających do 25 zapytania (np, zapytanie=tekst1&pytanie=tekst2&pytanie=tekst3). Umożliwia to wysłanie wielu zapytań w jednym żądaniu i zaoszczędzenie czasu opóźnienia sieci.

Przejdź do strona profilu->API token, aby utworzyć nowy klucz.

The average response time is 3-5 seconds. But it might depend on the service (speed optimized or no) type and the number of queries per request (batch option).

Skrobak Map Google

Czasami Google dodaje do wyszukiwań inne kategorie. Na przykład, gdy użytkownik wyszukuje restauracje możesz zobaczyć bary, kawa sklepylub nawet hotele. Może to prowadzić do uzyskania nieistotnych danych, zwłaszcza w przypadku korzystania z mniejszych kategorii, takich jak baseny.

Outscraper udostępnia dwa narzędzia, które można wykorzystać do wyeliminowania tych kategorii.

  1. Kategoria punktów orientacyjnych na Mapach Google

    Użyj przycisku "dokładne dopasowaniepole wyboru ". Parametr ten określa, czy zwracane mają być tylko wybrane kategorie, czy też wszystko, co pokazuje Google. Upewnij się, że używasz właściwych kategorii, otwierając podobne miejsca w google i sprawdzając kategorię.

  2. Filtrowanie wyników

    Filtrowanie wyników przez zastosowanie Filtry do kolumny podtypów. Takie filtry mogą wyeliminować wszystkie nieistotne dane i zwrócić tylko te, które są potrzebne. Aby uniknąć pustych wyników, przed użyciem filtrów należy zapoznać się z wartościami pól.

W niektórych przypadkach predefiniowane lokalizacje i/lub kategorie nie są wystarczające. Użyj opcji "Lokalizacje niestandardowe" i/lub "Kategorie niestandardowe", aby wstawić potrzebne kategorie i/lub lokalizacje.
Mapy Google ograniczają się do wyświetlania maksymalnie 400-500 miejsc na jedno zapytanie. Może to stanowić problem, gdy w jednej kategorii znajduje się więcej firm. Na przykład, dla zapytania "restauracje, Brooklyn". Aby temu zaradzić, proponujemy podzielenie lokalizacji na pod-lokalizacje. Na przykład za pomocą kodów pocztowych: "restauracje, Brooklyn 11203"., "restauracje, Brooklyn 11211", "restauracje, Brooklyn 11215"... Można też używać zapytań z podkategoriami: "Restauracje azjatyckie, Brooklyn", "Włoskie restauracje, Brooklyn", "Restauracje meksykańskie, Brooklyn", …
Zaznacz przełącznik "Użyj zapytań" i wprowadź zapytania.
Aby zmusić Google do wyszukiwania tylko określonych firm, należy ująć termin w cudzysłów " ". ten ” “ operator jest zwykle stosowany w przypadku słów stop (słów, które w przeciwnym razie Google by zignorowało) lub gdy chcesz, aby Google zwróciło tylko te strony, które dokładnie odpowiadają wyszukiwanym hasłom.
Po kliknięciu przycisku "Wyodrębnij dane..." pojawi się kosztorys zadania i zapytania. Zaleca się kliknięcie i otwarcie kilku zapytań, aby sprawdzić, jak wyglądają one w witrynie Mapy Google.
Są dwie rzeczy, których należy przestrzegać, aby kontrolować oczekiwaną liczbę wyników. 1. Limit organizacji na jedno zapytanie - limit organizacji, które można pobrać z jednego zapytania. 2. Liczba zapytań - ilość zapytań do wyszukiwarki. Bot wykona 6 zapytań w celu pobrania danych z 2 kategorii i 3 lokalizacji. W związku z tym wynikowa liczba organizacji nie będzie większa niż 480 (limit 80 * 6 zapytań).

Można usunąć duplikaty w jednym zadaniu, zaznaczając pole wyboru "Usuń duplikaty".

Yes, you can drop duplicates inside one task by using the “Drop duplicates” checkbox (advanced parameters). Alternatively, you can drop it by yourself by using “google_id” or “place_id” fields as unique identifiers for a place.

Dokładna liczba wyników będzie znana dopiero po zakończeniu ekstrakcji. Można użyć opcji "Limit wszystkich miejsc", aby ograniczyć ostateczną liczbę wyskrobanych wyników.
Tak. Możesz użyć poniższego linku jako zapytania "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z", gdzie można określić zapytanie (nieruchomość+agencja), współrzędne (41.4034,2.1718413) oraz poziom powiększenia (17z). Wartości te można znaleźć w Mapach Google. Alternatywnie można użyć parametru "współrzędne", jeśli używasz API.
Tak. Możesz użyć Skrobaczka e-maili i kontaktów wraz z Google Maps scraper, aby wzbogacić dane z Google. W tym celu należy wybrać "Emails & Contacts Scraper" w sekcji "Enrich by other services" na stronie Strona Google Maps Scraper.

No. There is no public information about emails connected with the listing on Google Maps. Outscraper uses external sources to find those emails.

Tak. Możesz użyć filtrów z parametrów zaawansowanych z następującym operatorem.

You can split your tasks by city/state or by some other unique attributes. For example, you can extract places from New York in the first task, and extract the places from California in the second task.

Skontaktuj się z nami

Pytania, specjalne potrzeby, problemy... Zawsze chętnie słyszę od Ciebie.