Domande frequenti su Outscraper
Generale
Scraper, raccolta o estrazione è un processo per ottenere tutte le informazioni da un sito pubblico. Automatizza l'esportazione manuale dei dati.
Lo scraping e l'estrazione di dati pubblici sono protetti dal Primo Emendamento della Costituzione degli Stati Uniti. La Corte d'Appello del Nono Circuito ha stabilito che lo scraping automatizzato di dati pubblicamente accessibili non viola il Computer Fraud and Abuse Act (CFAA). Tuttavia, dovresti cercare il consiglio di un avvocato sulla tua questione specifica per rispettare le leggi nella tua giurisdizione.
Stiamo estraendo solo dati disponibili pubblicamente, e lo scraper funziona come un browser per scienziati dei dati, sviluppatori e marketer.
Il meccanismo per garantire dati privi di informazioni di identificazione personale è quello di selezionare quali colonne vuoi restituire.
Pagamenti e abbonamenti
La fattura verrà generata in base all'utilizzo dei nostri servizi durante il periodo di fatturazione (30 giorni). I prezzi sono indicati sulla pagina.
Il livello gratuito è la quantità di utilizzo che puoi utilizzare gratuitamente ogni mese. Ad esempio, alcuni prodotti hanno un livello gratuito con 500 richieste al mese. Ciò significa che qualsiasi utilizzo del prodotto inferiore a 500 richieste durante un mese sarà gratuito.
Quando l'abbonamento sarà finalizzato, riceverai una fattura per l'utilizzo dei nostri servizi durante il periodo di abbonamento.
Nel caso in cui tu non sia in grado di effettuare un pagamento entro 3 giorni, il sistema proverà ad addebitarti automaticamente.
- Prima di aggiungere crediti, assicurati di aver inserito i tuoi dati sulla pagina di informazioni di fatturazione (nel caso in cui ne abbia bisogno nelle fatture o negli ordini d'acquisto)
- Vai alla tua pagina di profilo
- Inserisci il numero di crediti che desideri aggiungere.
- Scegli il metodo di pagamento che desideri utilizzare per aggiungere crediti (carta di credito, PayPal, ecc.).
- Dopo aver cliccato sul pulsante con il tuo metodo di pagamento, segui i passi del fornitore del metodo di pagamento.
Una volta che l'utilizzo è stato effettuato, è possibile vedere la fattura in arrivo sulla pagina del profilo. Una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura" oppure verrà generata automaticamente entro 30 giorni.
Una volta aggiunti i crediti al tuo account (opzione prepagata), riceverai la ricevuta della transazione via e-mail.
In alternativa, una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura" sulla pagina del profilo.
Sì. Outscraper addebiterà il saldo del tuo account per $10 ed emetterà una fattura aggiuntiva per l'importo dovuto.
No. L'attività verrà terminata e se l'utilizzo dell'attività sarà superiore ai crediti del tuo account, riceverai semplicemente una fattura con l'utilizzo in sospeso.
Puoi utilizzare i limiti per limitare la quantità di dati estratti.
- Apri la Piattaforma Outscraper.
- Vai alla pagina di informazione di fatturazione.
- Inserisci le informazioni di fatturazione necessarie che desideri visualizzare sulle tue fatture.
- Fai clic sul pulsante Salva. Tutte le tue fatture future verranno create con le informazioni che hai inserito.
API
Il limite di query al secondo dipende dalla natura delle richieste, dal servizio e dai parametri della richiesta (quantità di risultati, quantità di query, ecc.). Il limite di query al secondo medio è di circa 20 (limite flessibile). Tuttavia, Outscraper può scalare in base alle tue esigenze. Per favore, contatta il team nel caso in cui sia necessario un limite di query al secondo più elevato.
Sì. L'API supporta il batching inviando matrici con un massimo di 25 query (ad es, query=testo1&query=testo2&query=testo3). Consente di inviare più query in un'unica richiesta e di risparmiare sulla latenza di rete.
Vai alla Pagina della cronologia di utilizzo dell'API per vedere le tue ultime richieste.
Vai alla pagina del profilo-> token API per creare una nuova chiave.
Il tempo di risposta medio è di 3-5 secondi. Ma può dipendere dal tipo di servizio (ottimizzato o meno per la velocità) e dal numero di query per richiesta (opzione batch).
Ci sono alcuni punti chiave da seguire per aumentare la produttività dell'API.
- Assicurarsi di utilizzare le versioni più recenti degli endpoint API. Ad esempio, è preferibile utilizzare API di Luoghi V2 invece di API di luoghi V1. Nel caso in cui si utilizzi l'SDK, verrà utilizzata di default l'ultima versione dell'API (ad es. google_maps_ricerca()).
- Utilizzare il batching per inviare fino a 25 query per ogni richiesta (ad esempio, query=testo1&query=testo2&query=testo3). Ciò consente di inviare più query in un'unica richiesta e di risparmiare il tempo di latenza della rete.
- Esegui le richieste in parallelo. Controlla questo esempio.
- Utilizza un webhook per ottenere i risultati una volta che è pronto.
Alcune attività possono richiedere tempo per estrarre i dati. Ci sono alcuni modi per gestire i timeout.
- Utilizza i tentativi. È possibile che un certo numero di richieste di estrazione possa restituire un errore o un timeout. Di solito, un ulteriore tentativo risolve il problema.
- Utilizzare le richieste asincrone. Una buona pratica è quella di inviare richieste asincrone e iniziare a controllare i risultati dopo il tempo di esecuzione stimato. Verifica questa implementazione di Python come esempio.
- Utilizza un webhook per ottenere i risultati una volta che è pronto.
Scraper di Google Maps
A volte Google aggiunge altre categorie alle ricerche. Ad esempio, quando si cerca ristorantipotresti vedere bar, caffetterie negozio anche alberghi. Questo potrebbe portare a dati irrilevanti, soprattutto quando si utilizzano alcune categorie minori, come ad esempio piscine.
Outscraper ti fornisce due strumenti che puoi usare per eliminare queste categorie.
La categoria dei punti di riferimento su Google Maps
Utilizza la casella di controllo "corrispondenza esatta". Il parametro specifica se restituire solo le categorie selezionate o tutto ciò che Google mostra. Assicurati di utilizzare le categorie giuste aprendo luoghi simili su Google e controllando la categoria.
Filtrare i risultati
Filtra i risultati applicando Filtri alla colonna dei sottotipi. Questi filtri possono eliminare tutti i dati irrilevanti e restituire solo quelli necessari. Per evitare risultati vuoti, assicurati di conoscere i valori dei campi prima di utilizzare i filtri.
Ci sono alcuni casi in cui le località o/e le categorie predefinite non sono sufficienti. Utilizza le opzioni "Luoghi personalizzati" o/e "Categorie personalizzate" per inserire le categorie o/e i luoghi di cui hai bisogno.
C'è una limitazione da Google Maps che mostra solo fino a 400-500 luoghi per una ricerca di query. Questo può essere un problema quando ci sono più aziende in una categoria. Ad esempio, per consultare “ristoranti, Brooklyn”.
Per ovviare a ciò, suggeriamo di suddividere il luogo in sottoluoghii. Ad esempio, utilizzando i codici postali:
"ristoranti, Brooklyn 11203",
"ristoranti, Brooklyn 11211",
"ristoranti, Brooklyn 11215",
…
Oppure utilizzando query con sottocategorie:
“Ristoranti asiatici, Brooklyn”,
“Ristoranti italiani, Brooklyn”,
“Ristoranti messicani, Brooklyn”,
…
Seleziona lo switcher "Usa query" e inserisci le query.
Per forzare Google a cercare solo determinate aziende, racchiudere il termine tra virgolette " ". Le ” “ viene in genere utilizzate intorno alle parole non significative (parole che Google altrimenti ignorerebbe) o quando si desidera che Google restituisca solo le pagine che corrispondono esattamente ai termini di ricerca.
Dopo aver cliccato sul pulsante “Estrarre i dati…” vedrai la stima dell'attività e le query.
Si consiglia di fare clic e aprire alcune query per verificare come appare sul sito di Google Maps.
Ci sono due cose che dovresti seguire per controllare il numero previsto di risultati.
1. Limite di organizzazioni per query. – il limite di organizzazioni da prendere da una query.
2. Numero di query – la quantità di query di ricerca che farai.
Ci sono 6 query che il bot farà per estrarre i dati da 2 categorie e 3 luoghi.
Pertanto, l'importo risultante non sarà superiore a 480 organizzazioni (limite di 80 * 6 query).
Puoi rimuovere i duplicati in un'attività selezionando la casella di controllo "Eliminare i duplicati".
Sì, è possibile eliminare i duplicati all'interno di un'attività utilizzando la casella di controllo "Eliminare i duplicati" (parametri avanzati). In alternativa, è possibile eliminarli da soli utilizzando i campi "google_id" o "place_id" come identificatori unici di un luogo.
Il numero esatto dei risultati sarà noto solo dopo l'estrazione.
Puoi utilizzare "Limite di luoghi totali" per limitare la quantità finale di risultati estratti.
È possibile utilizzare il seguente collegamento come query: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z"dove si può specificare una query (immobiliare+agenzia), le coordinate (41.4034,2.1718413) e il livello di zoom (17z). Puoi trovare questi valori visitando Google Maps.
In alternativa, puoi utilizzare il parametro "coordinate" se stai utilizzando l' API.
Sì, puoi usare lo Scraper di e-mail e contatti insieme allo Scraper di Google Maps per arricchire i dati da Google. Per farlo, seleziona "Scraper di e-mail e contatti" nella sezione "Arrichire con altri servizi" sulla pagina Scraper di Google Maps.
Pagherai solo per i risultati estratti, indipendentemente dal numero di query.
No. Non esistono informazioni pubbliche sulle e-mail collegate all'annuncio su Google Maps. Outscraper utilizza fonti esterne per trovare tali e-mail.
Sì. Puoi usare i filtri dai parametri avanzati con il seguente operatore.
È possibile dividere le attività per città/stato o per altri attributi unici. Ad esempio, puoi estrarre i luoghi di New York nella prima attività e quelli della California nella seconda.
Contattaci
Domande, bisogni speciali, problemi... Sempre felice di sentirti.