Domande frequenti su Outscraper
Generale
Scraper, raccolta o estrazione è un processo per ottenere tutte le informazioni da un sito pubblico. Automatizza l'esportazione manuale dei dati.
Lo scraping e l'estrazione di dati pubblici sono protetti dal Primo Emendamento della Costituzione degli Stati Uniti. La Corte d'Appello del Nono Circuito ha stabilito che lo scraping automatizzato di dati pubblicamente accessibili non viola il Computer Fraud and Abuse Act (CFAA). Tuttavia, dovresti cercare il consiglio di un avvocato sulla tua questione specifica per rispettare le leggi nella tua giurisdizione.
Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.
.Stiamo estraendo solo dati disponibili pubblicamente, e lo scraper funziona come un browser per scienziati dei dati, sviluppatori e marketer.
Il meccanismo per garantire dati privi di informazioni di identificazione personale è quello di selezionare quali colonne vuoi restituire.
Pagamenti e abbonamenti
Il livello gratuito è la quantità di utilizzo che puoi utilizzare gratuitamente ogni mese. Ad esempio, alcuni prodotti hanno un livello gratuito con 500 richieste al mese. Ciò significa che qualsiasi utilizzo del prodotto inferiore a 500 richieste durante un mese sarà gratuito.
Quando un abbonamento viene finalizzato, riceverete una fattura per l'utilizzo dei servizi durante il periodo di abbonamento.
Nel caso in cui tu non sia in grado di effettuare un pagamento entro 3 giorni, il sistema proverà ad addebitarti automaticamente.
- Prima di aggiungere i crediti, assicuratevi di aver inserito i vostri dati nella pagina delle informazioni di fatturazione (nel caso in cui vi servano nelle fatture o negli OP).
- Andate a la pagina del vostro profilo.
- Inserisci il numero di crediti che desideri aggiungere.
- Scegli il metodo di pagamento che desideri utilizzare per aggiungere crediti (carta di credito, PayPal, ecc.).
- Dopo aver cliccato sul pulsante con il tuo metodo di pagamento, segui i passi del fornitore del metodo di pagamento.
Una volta che l'utilizzo è stato effettuato, è possibile visualizzare la fattura imminente su la pagina del profilo. Una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura", oppure verrà generata automaticamente entro 30 giorni.
Una volta aggiunti i crediti al tuo account (opzione prepagata), riceverai la ricevuta della transazione via e-mail.
Le fatture relative all'utilizzo di servizi specifici verranno generate dopo ogni periodo di fatturazione (30 giorni). In alternativa, una volta ottenuto l'importo dovuto, è possibile generare la fattura manualmente facendo clic su "Genera fattura" nella pagina del profilo.
Sì. Outscraper addebiterà il saldo del tuo account per $10 ed emetterà una fattura aggiuntiva per l'importo dovuto.
No. L'attività verrà terminata e se l'utilizzo dell'attività sarà superiore ai crediti del tuo account, riceverai semplicemente una fattura con l'utilizzo in sospeso.
Puoi utilizzare i limiti per limitare la quantità di dati estratti.
- Aprite Outscraper Platform.
- Vai alla pagina di informazione di fatturazione.
- Inserisci le informazioni di fatturazione necessarie che desideri visualizzare sulle tue fatture.
- Fai clic sul pulsante Salva. Tutte le tue fatture future verranno create con le informazioni che hai inserito.
Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.
API
Il limite di query al secondo dipende dalla natura delle richieste, dal servizio e dai parametri della richiesta (quantità di risultati, numero di query, ecc.). Il QPS medio è di circa 20 (limite morbido). Tuttavia, Outscraper può scalare in base alle vostre esigenze. Si prega di contattare il team nel caso in cui sia necessario un QPS più elevato.
Sì. L'API supporta il batching inviando array con un massimo di 25 query (ad esempio, query=testo1&query=testo2&query=testo3). Ciò consente di inviare più query in un'unica richiesta e di risparmiare sulla latenza di rete.
Accedere alla pagina Cronologia dell'utilizzo dell'interfaccia per vedere le ultime richieste.
Vai alla pagina del profilo-> token API per creare una nuova chiave.
Il tempo di risposta medio è di 3-5 secondi. Ma può dipendere dal tipo di servizio (ottimizzato o meno per la velocità) e dal numero di query per richiesta (opzione batch).
Ci sono alcuni punti chiave da seguire per aumentare la produttività dell'API.
- Assicurarsi di utilizzare le versioni più recenti degli endpoint API. Ad esempio, preferire l'uso di Places API V2 invece di Places API V1. Nel caso in cui si utilizzi l'SDK, verrà utilizzata per impostazione predefinita l'ultima versione dell'API (ad esempio google_maps_search()).
- Utilizzare il batching per inviare fino a 25 query per ogni richiesta (ad esempio, query=testo1&query=testo2&query=testo3). Ciò consente di inviare più query in un'unica richiesta e di risparmiare il tempo di latenza della rete.
- Eseguire le richieste in parallelo. Guardate questo esempio.
- Utilizzare un webhook per recuperare i risultati una volta pronti.
Alcune attività possono richiedere tempo per estrarre i dati. Ci sono alcuni modi per gestire i timeout.
- Utilizza i tentativi. È possibile che un certo numero di richieste di estrazione possa restituire un errore o un timeout. Di solito, un ulteriore tentativo risolve il problema.
- Utilizzare richieste asincrone. Una buona pratica consiste nell'inviare richieste asincrone e iniziare a controllare i risultati dopo il tempo di esecuzione stimato. Date un'occhiata a questa implementazione Python come esempio.
- Utilizzare un webhook per recuperare i risultati una volta pronti.
Scraper di Google Maps
A volte Google aggiunge altre categorie alle ricerche effettuate. Ad esempio, quando si cerca ristoranti, si possono vedere bar, caffè, negozi o persino alberghi. Questo potrebbe portare a dati irrilevanti, soprattutto quando si utilizzano categorie minori come piscine
.
Outscraper ti fornisce due strumenti che puoi usare per eliminare queste categorie.
La categoria dei punti di riferimento su Google Maps
Utilizza la casella di controllo "corrispondenza esatta". Il parametro specifica se restituire solo le categorie selezionate o tutto ciò che Google mostra. Assicurati di utilizzare le categorie giuste aprendo luoghi simili su Google e controllando la categoria.
Filtrare i risultati
Filtrare i risultati applicando Filtri alla colonna dei sottotipi. Tali filtri possono eliminare tutti i dati irrilevanti e restituire solo quelli necessari. Per evitare risultati vuoti, assicurarsi di conoscere i valori dei campi prima di utilizzare i filtri.
Ci sono alcuni casi in cui le località o/e le categorie predefinite non sono sufficienti. Utilizza le opzioni "Luoghi personalizzati" o/e "Categorie personalizzate" per inserire le categorie o/e i luoghi di cui hai bisogno.
C'è una limitazione da Google Maps che mostra solo fino a 400-500 luoghi per una ricerca di query. Questo può essere un problema quando ci sono più aziende in una categoria. Ad esempio, per consultare “ristoranti, Brooklyn”.
Per ovviare a ciò, suggeriamo di suddividere il luogo in sottoluoghii. Ad esempio, utilizzando i codici postali:
"ristoranti, Brooklyn 11203",
"ristoranti, Brooklyn 11211",
"ristoranti, Brooklyn 11215",
…
Oppure utilizzando query con sottocategorie:
“Ristoranti asiatici, Brooklyn”,
“Ristoranti italiani, Brooklyn”,
“Ristoranti messicani, Brooklyn”,
…
Seleziona lo switcher "Usa query" e inserisci le query.
Per forzare Google a cercare solo determinate aziende, racchiudere il termine tra virgolette " ". Le ” “ viene in genere utilizzate intorno alle parole non significative (parole che Google altrimenti ignorerebbe) o quando si desidera che Google restituisca solo le pagine che corrispondono esattamente ai termini di ricerca.
Dopo aver cliccato sul pulsante “Estrarre i dati…” vedrai la stima dell'attività e le query.
Si consiglia di fare clic e aprire alcune query per verificare come appare sul sito di Google Maps.
Ci sono due cose che dovresti seguire per controllare il numero previsto di risultati.
1. Limite organizzazioni per query - il limite di organizzazioni da prendere da una query.
2. Numero di query - la quantità di query di ricerca che si intende effettuare.
Ci sono 6 query che il bot farà per estrarre i dati da 2 categorie e 3 luoghi.
Pertanto, l'importo risultante non sarà superiore a 480 organizzazioni (limite di 80 * 6 query).
Puoi rimuovere i duplicati in un'attività selezionando la casella di controllo "Eliminare i duplicati".
Sì, è possibile eliminare i duplicati all'interno di un'attività utilizzando la casella di controllo "Eliminare i duplicati" (parametri avanzati). In alternativa, è possibile eliminarli da soli utilizzando i campi "google_id" o "place_id" come identificatori unici di un luogo.
Il numero esatto dei risultati sarà noto solo dopo l'estrazione.
Puoi utilizzare "Limite di luoghi totali" per limitare la quantità finale di risultati estratti.
Sì. È possibile utilizzare il seguente link come query: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" dove è possibile specificare una query (immobiliare+agenzia), le coordinate (41.4034,2.1718413) e il livello di zoom (17z). È possibile trovare questi valori visitando Google Maps.
In alternativa, è possibile utilizzare il parametro "coordinate" se si utilizza l'API.
Sì. È possibile utilizzare Emails & Contacts Scraper insieme a Google Maps scraper per arricchire i dati di Google. A tal fine, selezionare "Emails & Contacts Scraper" nella sezione "Arricchisci con altri servizi" della pagina Google Maps Scraper.
.
Pagherai solo per i risultati estratti, indipendentemente dal numero di query.
No. Non esistono informazioni pubbliche sulle e-mail collegate all'annuncio su Google Maps. Outscraper utilizza fonti esterne per trovare tali e-mail.
Sì. Puoi usare i filtri dai parametri avanzati con il seguente operatore.
È possibile dividere le attività per città/stato o per altri attributi unici. Ad esempio, puoi estrarre i luoghi di New York nella prima attività e quelli della California nella seconda.
Contattaci
Domande, bisogni speciali, problemi... Sempre felice di sentirti.