Questions et réponses les plus fréquentes sur Outscraper
Général
Le scraping, la récolte ou l'extraction est un processus consistant à obtenir toutes les informations d'un site public. Il automatise l'exportation manuelle des données.
Le Scraping et l'extraction de données publiques sont protégés par le premier amendement de la Constitution des États-Unis. La neuvième Cour d'Appel de la circonscription a statué que le Scraping automatisé de données accessibles au public ne viole pas la loi sur la fraude et les abus informatiques (CFAA). Cependant, vous devriez demander l'avis d'un avocat sur votre affaire spécifique pour vous conformer aux lois de votre juridiction.
Chaque tâche de scraping est exécutée dans le nuage. Votre adresse IP ne sera pas affectée par le scraping.
Nous n'extrayons que des données accessibles au public, et le Scraping fonctionne comme un navigateur pour les chercheurs de données, les développeurs et les spécialistes du marketing.
Le mécanisme pour garantir que les données ne contiennent pas d'informations personnellement identifiables consiste à sélectionner les colonnes à renvoyer.
Paiements et abonnements
Le niveau gratuit est la quantité d'utilisation que vous pouvez utiliser gratuitement chaque mois. Par exemple, certains produits ont une offre gratuite avec 500 demandes par mois. Cela signifie que toute utilisation du produit en dessous de 500 demandes au cours d'un mois sera gratuite.
Lorsqu'un abonnement est finalisé, vous recevrez une facture pour l'utilisation de les services au cours de la période d'abonnement.
Si vous ne parvenez pas à effectuer le paiement dans les 3 jours, le système essaiera de vous facturer automatiquement.
- Avant d'ajouter des crédits, assurez-vous d'avoir saisi vos coordonnées sur la page des informations de facturation (au cas où vous en auriez besoin pour les factures ou les bons de commande).
- Naviguez vers votre page de profil.
- Entrez le montant de crédits que vous souhaitez ajouter.
- Choisissez le mode de paiement que vous souhaitez utiliser afin d'ajouter des crédits (carte de crédit, PayPal, etc.).
- Après avoir cliqué sur le bouton avec votre méthode de paiement, suivez les étapes du fournisseur de la méthode de paiement.
Une fois que vous avez consommé, vous pouvez voir la facture à venir sur la page de profil. Une fois que vous avez le montant dû, vous pouvez générer la facture manuellement en cliquant sur "Générer la facture", ou elle sera générée automatiquement dans les 30 jours.
Une fois que vous aurez ajouté des crédits à votre compte (option prépayée), vous recevrez le reçu de la transaction par courrier électronique.
Les factures relatives à l'utilisation de services spécifiques seront générées après chaque période de facturation (30 jours). Vous pouvez aussi, une fois que vous avez le montant dû, générer la facture manuellement en cliquant sur "Générer une facture" sur la page de profil.
Oui. Outscraper débitera le solde de votre compte pour $10 et émettra une facture supplémentaire avec le montant dû.
Non. La tâche sera terminée et si l'utilisation de la tâche est supérieure aux crédits de votre compte, vous recevrez simplement une facture avec l'utilisation restante.
Vous pouvez utiliser des limites pour limiter la quantité de données extraites.
- Ouvrez Outscraper Platform.
- Naviguez vers la page de informations de facturation.
- Entrez les informations de facturation nécessaires que vous souhaitez voir sur vos factures.
- Cliquez sur le bouton Enregistrer. Toutes vos futures factures seront créées avec les informations que vous avez saisies.
Parrainez un ami et commencez à recevoir 35% de vos paiements de parrainage sur le solde de votre compte. Votre filleul recevra un 25% sur leur premier versement. Obtenez votre lien de référence maintenant.
API
La limite de requêtes par seconde dépend de la nature des demandes, du service et des paramètres de la demande (nombre de résultats, nombre de requêtes, etc.). Le QPS moyen est d'environ 20 (limite souple). Cependant, Outscraper peut s'adapter à vos besoins. Veuillez contacter l'équipe au cas où vous auriez besoin d'un QPS plus élevé.
Oui. L'API prend en charge la mise en lots en envoyant des tableaux contenant jusqu'à 25 requêtes (par exemple, requête=texte1&requête=texte2&requête=texte3). Cela permet d'envoyer plusieurs requêtes en une seule et même fois et de réduire la latence du réseau.
Naviguez vers la page Historique de l'utilisation de l'API pour voir vos dernières demandes.
Naviguez vers page de profil-> jeton API pour créer une nouvelle clé.
Le temps de réponse moyen est de 3 à 5 secondes. Mais cela peut dépendre du type de service (vitesse optimisée ou non) et du nombre de requêtes par demande (option de traitement par lots).
Il y a quelques points clés que vous devez suivre pour augmenter le débit de l'API.
- Assurez-vous d'utiliser les dernières versions des points d'extrémité de l'API. Par exemple, préférez utiliser Places API V2 au lieu de Places API V1. Dans le cas de l'utilisation du SDK, la dernière version de l'API sera utilisée par défaut (par exemple, google_maps_search()).
- Utilisez le traitement par lots pour envoyer jusqu'à 25 requêtes par requête (par exemple, requête=text1&requête=text2&requête=text3). Il permet d'envoyer plusieurs requêtes en une seule requête et d'économiser sur le temps de latence du réseau.
- Exécuter des requêtes en parallèle. Consultez cette exemple.
- Utilisez un webhook pour récupérer les résultats une fois qu'il est prêt.
Certaines tâches peuvent prendre du temps pour extraire les données. Il existe plusieurs façons de gérer les délais d'attente.
- Utilisez les tentatives. Il est possible qu'un nombre de requêtes d'extraction renvoient une erreur ou un délai d'attente. Habituellement, essayer une fois de plus résout le problème.
- Utiliser des requêtes asynchrones. Une bonne pratique consiste à envoyer des requêtes asynchrones et à commencer à vérifier les résultats après le temps d'exécution estimé. Consultez cette implémentation Python à titre d'exemple.
- Utilisez un webhook pour récupérer les résultats une fois qu'il est prêt.
Le Scraping Google Maps
Il arrive que Google ajoute d'autres catégories à vos recherches. Par exemple, lorsque vous recherchez restaurants, vous pouvez voir bars, café strong>ou même hôtels. Cela peut conduire à des données non pertinentes, en particulier lorsque vous utilisez des catégories mineures telles que piscines.
.
Outscraper vous fournit deux outils que vous pouvez utiliser pour éliminer ces catégories.
La catégorie des sites remarquables sur Google Maps
Utilisez la case à cocher «correspondance exacte». Le paramètre spécifie s'il faut renvoyer uniquement les catégories que vous avez sélectionnées ou tout ce que Google affiche. Assurez-vous d'utiliser les bonnes catégories en ouvrant des lieux similaires sur Google et en vérifiant la catégorie.
Filtrer les résultats
Filtrez les résultats en appliquant Filtres à la colonne des sous-types. Ces filtres permettent d'éliminer toutes les données non pertinentes et de ne renvoyer que ce dont vous avez besoin. Pour éviter les résultats vides, assurez-vous de bien connaître les valeurs des champs avant d'utiliser les filtres.
Dans certains cas, les emplacements ou/et les catégories prédéfinis ne suffisent pas. Utilisez les options « Emplacements personnalisés » ou/et « Catégories personnalisées » pour insérer les catégories ou/et les emplacements dont vous avez besoin.
Il y a une limitation de Google Maps qui n'affiche que 400 à 500 endroits par recherche de requête. Cela peut être un problème lorsqu'il y a plus d'entreprises dans une même catégorie. Par exemple, pour consulter “restaurants, Brooklyn”.
Pour surmonter cela, nous suggérons de diviser l'emplacement en sous-emplacements. Par exemple, en utilisant des codes postaux :
« restaurants, Brooklyn 11203 »,
« restaurants, Brooklyn 11211 »,
« restaurants, Brooklyn 11215»,
…
Ou en utilisant des requêtes avec des sous-catégories :
«Restaurants asiatiques, Brooklyn»,
«Restaurants italiens, Brooklyn»,
«Restaurants mexicains, Brooklyn»,
…
Cochez le sélecteur «Utiliser des requêtes» et entrez les requêtes.
Pour forcer Google à rechercher uniquement des entreprises en particulier, placez le terme entre guillemets « ». Les ” “ « » sont généralement utilisées autour des mots vides (mots que Google ignorerait autrement) ou lorsque vous souhaitez que Google renvoie uniquement les pages qui correspondent exactement à vos termes de recherche.
Après avoir cliqué sur le bouton « Extraire les données… », vous verrez l'estimation de la tâche et les requêtes.
Il est recommandé de cliquer et d'ouvrir quelques requêtes pour vérifier à quoi cela ressemble sur le site Google Maps.
Il y a deux choses que vous devez suivre pour contrôler le nombre de résultats attendus.
1. Limite d'organisations par requête - la limite d'organisations à prendre dans une requête.
2. Nombre de requêtes - le nombre de requêtes de recherche que vous allez effectuer.
Il y a 6 requêtes que le bot fera pour extraire les données de 2 catégories et 3 lieux
Par conséquent, le montant résultant ne dépassera pas 480 organisations (limite de 80 * 6 requêtes).
Vous pouvez supprimer les doublons en une seule tâche en cochant la case «Supprimer les doublons».
Oui, vous pouvez supprimer des doublons dans une même tâche en utilisant la case à cocher «Supprimer les doublons» (paramètres avancés). Vous pouvez également les supprimer vous-même en utilisant les champs "google_id" ou "place_id" comme identifiants uniques pour un endroit.
Le nombre exact de résultats ne sera connu qu'après l'extraction.
Vous pouvez utiliser « Limite totale de lieux » pour limiter le nombre final de résultats extraits.
Oui, vous pouvez utiliser le lien suivant comme requête : "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" où vous pouvez spécifier une requête (real+estate+agency), les coordonnées (41.4034,2.1718413) et le niveau de zoom (17z). Vous pouvez trouver ces valeurs en visitant Google Maps.
Vous pouvez également utiliser le paramètre "coordinates" si vous utilisez l'interface utilisateur API.
Oui. Vous pouvez utiliser Emails & Contacts Scraper avec Google Maps scraper pour enrichir les données de Google. Pour ce faire, sélectionnez "Emails & Contacts Scraper" dans la section "Enrichir par d'autres services" sur la page Google Maps Scraper.
Vous ne paierez que pour les résultats que vous avez extraits, quel que soit le nombre de requêtes.
Non. Il n'y a pas d'informations publiques sur les e-mails liés à l'inscription sur Google Maps. Outscraper utilise des sources externes pour trouver ces e-mails.
Oui. Vous pouvez utiliser les filtres des paramètres avancés avec l'opérateur suivant.
Vous pouvez diviser vos tâches par ville/état ou par d'autres attributs uniques. Par exemple, vous pouvez extraire les lieux de New York dans la première tâche, et extraire les lieux de Californie dans la deuxième tâche.
Contactez-nous
Questions, besoins particuliers, problèmes... Toujours heureux d'avoir de vos nouvelles.