Domande frequenti su Outscraper

Generale

Raschiare, raccogliere o estrarre è un processo per ottenere tutte le informazioni da un sito pubblico. Automatizza l'esportazione manuale dei dati.
Lo scraping e l'estrazione di dati pubblici è protetto dal Primo Emendamento della Costituzione degli Stati Uniti. La Corte d'Appello del Nono Circuito ha stabilito che lo scraping automatizzato di dati accessibili al pubblico non viola il Computer Fraud and Abuse Act (CFAA). Tuttavia, dovresti cercare il consiglio di un avvocato sulla tua questione specifica per rispettare le leggi nella tua giurisdizione.
Guardare Documenti API o visita GitHub pagina per ottenere informazioni su come integrare i servizi con il tuo codice. Dai un'occhiata al blog.
È possibile disattivare le notifiche sulla schermata pagina del profilo.
Stiamo estraendo solo dati disponibili pubblicamente, e lo scraper funziona come un browser per scienziati dei dati, sviluppatori e marketer. Il meccanismo per garantire dati privi di PII è quello di selezionare quali colonne vuoi restituire.

Pagamenti e abbonamenti

La fattura verrà generata in base all'utilizzo di i servizi durante fatturazione periodo (30 giorni). I prezzi sono indicati su la pagina.
Il livello gratuito è la quantità di utilizzo che puoi utilizzare gratuitamente ogni mese. Ad esempio, alcuni prodotti X hanno un piano gratuito con 500 richieste al mese. Ciò significa che qualsiasi utilizzo del prodotto inferiore a 500 richieste durante un mese sarà gratuito.
Quando un abbonamento sarà finalizzato, riceverai una fattura per l'utilizzo di i servizi durante il periodo di abbonamento. Nel caso in cui tu non sia in grado di effettuare un pagamento entro 3 giorni, il sistema proverà ad addebitarti automaticamente.
Una volta che l'utilizzo è stato effettuato, è possibile vedere la fattura in arrivo su la pagina del profilo. Una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura" oppure verrà generata automaticamente entro 30 giorni.
Una volta aggiunti i crediti al proprio account (opzione prepagata), si riceverà la ricevuta della transazione via e-mail. Le fatture relative all'utilizzo di servizi specifici saranno generate dopo ogni periodo di fatturazione (30 giorni). In alternativa, una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura" su la pagina del profilo.

Sì. Outscraper addebiterà il saldo del conto per $10 ed emetterà un'ulteriore fattura con l'importo dovuto.

Sì.

No. L'attività verrà terminata e se l'utilizzo dell'attività sarà superiore ai crediti del vostro account, riceverete semplicemente una fattura con l'utilizzo in sospeso.

È possibile utilizzare i limiti per limitare la quantità di dati estratti.

API

The limit of queries per second depends on the nature of the requests, service, and request parameters (amount of results, amount of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need higher QPS.

Sì. L'API supporta il batching inviando matrici con un massimo di 25 query (ad es, query=testo1&query=testo2&query=testo3). Consente di inviare più query in un'unica richiesta e di risparmiare il tempo di latenza della rete.

Passare alla sezione Pagina della cronologia di utilizzo dell'API per vedere le ultime richieste.

Navigare verso pagina del profilo-> token API per creare una nuova chiave.

Il tempo di risposta medio è di 3-5 secondi. Ma potrebbe dipendere dal tipo di servizio (ottimizzato o meno per la velocità) e dal numero di query per richiesta (opzione batch).

There are a few key points you should follow to increase the throughput of the API.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Use batching to send up to 25 queries per one request (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways you can handle timeouts.

  1. Use retries. Expect that some number of scraping requests might return an error or timeout. Usually, trying one more time solves the issue.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Raschietto di Google Maps

A volte Google aggiunge altre categorie alle ricerche. Ad esempio, quando si cerca ristoranti potreste vedere bar, caffè negozio anche alberghi. Questo potrebbe portare a dati irrilevanti, soprattutto quando si utilizzano alcune categorie minori, come ad esempio piscine.

Outscraper ti fornisce due strumenti che puoi usare per eliminare queste categorie.

  1. La categoria dei punti di riferimento su Google Maps

    Utilizzare il pulsante "corrispondenza esatta". Il parametro specifica se restituire solo le categorie selezionate o tutto ciò che Google mostra. Assicurarsi di utilizzare le categorie giuste aprendo luoghi simili su Google e controllando la categoria.

  2. Filtrare i risultati

    Filtrare i risultati applicando Filtri alla colonna dei sottotipi. Questi filtri possono eliminare tutti i dati irrilevanti e restituire solo quelli necessari. Per evitare risultati vuoti, assicurarsi di conoscere i valori dei campi prima di utilizzare i filtri.

Ci sono alcuni casi in cui le località o/e le categorie predefinite non sono sufficienti. Utilizza le opzioni "Posizioni personalizzate" o/e "Categorie personalizzate" per inserire le categorie o/e le posizioni di cui hai bisogno.
C'è una limitazione da Google Maps che mostra solo fino a 400-500 luoghi per una ricerca di query. Questo può essere un problema quando ci sono più aziende in una categoria. Ad esempio, per query “ristoranti, Brooklyn”. Per ovviare a questo problema, suggeriamo di suddividere la località in sotto-locazioni. Ad esempio, utilizzando i codici postali: "ristoranti, Brooklyn 11203", "ristoranti, Brooklyn 11211", "ristoranti, Brooklyn" 11215"... Oppure utilizzando query con sottocategorie: “Ristoranti asiatici, Brooklyn”, “Ristoranti italiani, Brooklyn”, “Ristoranti messicani, Brooklyn”, …
Seleziona lo switcher "Usa query" e inserisci le query.
Per forzare Google a cercare solo determinate aziende, racchiudere il termine tra virgolette " ". Il ” “ L'operatore viene in genere utilizzato intorno alle parole non significative (parole che Google altrimenti ignorerebbe) o quando si desidera che Google restituisca solo le pagine che corrispondono esattamente ai termini di ricerca.
Dopo aver cliccato sul pulsante “Estrai dati…” vedrai la stima dell'attività e le query. Si consiglia di fare clic e aprire alcune query per verificare come appare sul sito di Google Maps.
Per controllare il numero di risultati attesi, è necessario seguire due indicazioni. 1. Limite di organizzazioni per query – il limite di organizzazioni da prendere da una query. 2. Numero di query – la quantità di query di ricerca che farai. Ci sono 6 query che il bot farà per estrarre i dati da 2 categorie e 3 posizioni. Pertanto, l'importo risultante non sarà superiore a 480 organizzazioni (limite di 80 * 6 query).

Puoi rimuovere i duplicati in un compito selezionando la casella di controllo "Drop duplicates".

Sì, è possibile eliminare i duplicati all'interno di un'attività utilizzando la casella di controllo "Elimina duplicati" (parametri avanzati). In alternativa, è possibile eliminarli da soli utilizzando i campi "google_id" o "place_id" come identificatori unici di un luogo.

Il numero esatto di risultati sarà noto solo dopo l'estrazione. È possibile utilizzare "Limite posti totali" per limitare la quantità finale di risultati estratti.
Sì. È possibile utilizzare il seguente link come query "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z"dove si può specificare una query (immobiliare+agenzia), le coordinate (41.4034,2.1718413) e il livello di zoom (17z). È possibile trovare questi valori visitando Google Maps. In alternativa, è possibile utilizzare il parametro "coordinate" se si utilizza il metodo API.
Sì, si può usare Raschiamento di e-mail e contatti insieme a Google Maps scraper per arricchire i dati da Google. Per farlo, seleziona "Emails & Contacts Scraper" nella sezione "Enrich by other services" sulla Pagina di Google Maps Scraper.
Pagherete solo per i risultati estratti, indipendentemente dal numero di query.

No. Non esistono informazioni pubbliche sulle e-mail collegate all'annuncio su Google Maps. Outscraper utilizza fonti esterne per trovare tali e-mail.

Sì. Puoi usare i filtri dai parametri avanzati con il seguente operatore.

È possibile dividere i compiti per città/stato o per altri attributi unici. Ad esempio, si possono estrarre i luoghi di New York nel primo compito e quelli della California nel secondo.

Contattaci

Domande, bisogni speciali, problemi... Sono sempre felice di sentirti.