FAQ sur les grattoirs

Général

Le grattage, la récolte ou l'extraction est un processus consistant à obtenir toutes les informations d'un site public. Il automatise l'exportation manuelle des données.
Le grattage et l'extraction de données publiques sont protégés par le premier amendement de la Constitution des États-Unis. La Cour d'appel du neuvième circuit a statué que le grattage automatisé des données accessibles au public ne viole pas la Loi sur la fraude et les abus informatiques (CFAA). Cependant, vous devriez demander l'avis d'un avocat sur votre question spécifique pour vous conformer aux lois de votre juridiction.
Vérifier Documents API ou visiter GitHub page pour découvrir comment vous pouvez intégrer des services à votre code. Vérifiez Blog.
Vous pouvez désactiver les notifications sur le page de profil.
Nous n'extrayons que des données accessibles au public, et le scraper fonctionne comme un navigateur pour les chercheurs de données, les développeurs et les spécialistes du marketing. Le mécanisme permettant de garantir des données exemptes de PII consiste à sélectionner les colonnes que vous souhaitez renvoyer.

Paiements et abonnements

La facture sera générée en fonction de l'utilisation de les services pendant le facturation période (30 jours). Les prix sont indiqués sur la page.
Le niveau gratuit est la quantité d'utilisation que vous pouvez utiliser gratuitement chaque mois. Par exemple, certains produits X ont une offre gratuite avec 500 demandes par mois. Cela signifie que toute utilisation du produit en dessous de 500 demandes au cours d'un mois sera gratuite.
Lorsqu'un abonnement sera finalisé, vous recevrez une facture pour l'utilisation de les services pendant la période de souscription. Si vous n'êtes pas en mesure d'effectuer un paiement dans les 3 jours, le système essaiera de vous facturer automatiquement.
Une fois que vous avez une certaine utilisation, vous pouvez voir la facture à venir sur la page de profil. Une fois que vous avez le montant dû, vous pouvez générer la facture manuellement en cliquant sur "Générer la facture" ou elle sera générée automatiquement dans les 30 jours.
Une fois que vous aurez ajouté des crédits à votre compte (option prépayée), vous recevrez le reçu de la transaction par courrier électronique. Les factures correspondant à l'utilisation de services spécifiques seront générées après chaque période de facturation (30 jours). Alternativement, une fois que vous avez le montant dû, vous pouvez générer la facture manuellement en cliquant sur "Générer la facture" sur la page de profil.

Oui. Outscraper débitera le solde de votre compte pour $10 et émettra une facture supplémentaire avec le montant dû.

Oui.

Non. La tâche sera terminée et si l'utilisation de la tâche est supérieure aux crédits de votre compte, vous recevrez simplement une facture avec l'utilisation restante.

Vous pouvez utiliser des limites pour limiter la quantité de données extraites.

  1. Ouvert Plate-forme Outscraper.
  2. Naviguez vers Billing Information page.
  3. Enter the necessary billing information you want to see in your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

API

The limit of queries per second depends on the nature of the requests, service, and request parameters (amount of results, amount of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need higher QPS.

Oui. L'API prend en charge la mise en lot en envoyant des tableaux comportant jusqu'à 25 les requêtes (par exemple, requête=texte1&recherche=texte2&recherche=texte3). Il permet d'envoyer plusieurs requêtes en une seule fois et d'économiser le temps de latence du réseau.

Naviguez jusqu'au Page d'historique d'utilisation de l'API pour voir vos dernières demandes.

Naviguez vers page de profil-> jeton API pour créer une nouvelle clé.

Le temps de réponse moyen est de 3 à 5 secondes. Mais cela peut dépendre du type de service (vitesse optimisée ou non) et du nombre de requêtes par demande (option de traitement par lots).

There are a few key points you should follow to increase the throughput of the API.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Use batching to send up to 25 queries per one request (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways you can handle timeouts.

  1. Use retries. Expect that some number of scraping requests might return an error or timeout. Usually, trying one more time solves the issue.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Grattoir Google Maps

Parfois, Google ajoute d'autres catégories à vos recherches. Par exemple, lorsque vous recherchez restaurants vous pourriez voir bars, café magasinsou encore hôtels. Cela peut conduire à des données non pertinentes, en particulier lorsque vous utilisez des catégories mineures telles que les piscines.

Outscraper vous fournit deux outils que vous pouvez utiliser pour éliminer ces catégories.

  1. La catégorie des points de repère sur Google Maps

    Utilisez le bouton "correspondance exacteLa case à cocher "Catégorie". Ce paramètre indique s'il faut renvoyer uniquement les catégories que vous avez sélectionnées ou tout ce que Google affiche. Assurez-vous que vous utilisez les bonnes catégories en ouvrant des lieux similaires sur Google et en vérifiant la catégorie.

  2. Filtrer les résultats

    Filtrer les résultats en appliquant Filtres à la colonne des sous-types. Ces filtres permettent d'éliminer toutes les données non pertinentes et de ne vous renvoyer que ce dont vous avez besoin. Pour éviter les résultats vides, assurez-vous de bien connaître les valeurs des champs avant d'utiliser les filtres.

Dans certains cas, les emplacements ou/et les catégories prédéfinis ne suffisent pas. Utilisez les options « Emplacements personnalisés » ou/et « Catégories personnalisées » pour insérer les catégories ou/et les emplacements dont vous avez besoin.
Il existe une limitation de Google Maps qui n'affiche que 400 à 500 lieux par recherche de requête. Cela peut être un problème lorsqu'il y a plus d'entreprises dans une même catégorie. Par exemple, pour la requête “restaurants, Brooklyn”. Pour surmonter ce problème, nous suggérons de diviser la localisation en sous-localisations. Par exemple, en utilisant les codes postaux : « restaurants, Brooklyn 11203 », « restaurants, Brooklyn 11211 », "restaurants, Brooklyn 11215"... ou en utilisant des requêtes avec des sous-catégories : “Restaurants asiatiques, Brooklyn”, “Restaurants italiens, Brooklyn”, “Restaurants mexicains, Brooklyn”, …
Cochez le sélecteur « Utiliser les requêtes » et entrez les requêtes.
Pour forcer Google à rechercher uniquement des entreprises en particulier, placez le terme entre guillemets « ». Les ” “ L'opérateur est généralement utilisé autour des mots vides (mots que Google ignorerait autrement) ou lorsque vous souhaitez que Google renvoie uniquement les pages qui correspondent exactement à vos termes de recherche.
Après avoir cliqué sur le bouton « Extraire les données… », vous verrez l'estimation de la tâche et les requêtes. Il est recommandé de cliquer et d'ouvrir quelques requêtes pour vérifier à quoi cela ressemble sur le site Google Maps.
Il y a deux choses que vous devez suivre pour contrôler le nombre de résultats attendus. 1. Nombre d'organisations par requête – la limite d'organisations à prendre à partir d'une requête. 2. Nombre de requêtes – le nombre de requêtes de recherche que vous allez faire. Il y a 6 requêtes que le bot fera pour extraire les données de 2 catégories et 3 emplacements. Par conséquent, le montant résultant ne dépassera pas 480 organisations (limite de 80 * 6 requêtes).

Vous pouvez supprimer les doublons en une seule tâche en cochant la case "Supprimer les doublons".

Oui, vous pouvez déposer des doublons dans une même tâche en utilisant la case à cocher "Déposer les doublons" (paramètres avancés). Vous pouvez également les supprimer vous-même en utilisant les champs "google_id" ou "place_id" comme identifiants uniques pour un lieu.

Le nombre exact de résultats ne sera connu qu'après l'extraction. Vous pouvez utiliser "Total places limit" pour limiter le nombre final de résultats extraits.
Oui, vous pouvez utiliser le lien suivant comme requête ".https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z"où vous pouvez spécifier une requête (real+estate+agency), les coordonnées (41.4034,2.1718413) et le niveau de zoom (17z). Vous pouvez trouver ces valeurs en consultant Google Maps. Vous pouvez également utiliser le paramètre "coordonnées" si vous utilisez la fonction API.
Oui. Vous pouvez utiliser Grattage de courriels et de contacts ainsi que le scraper Google Maps pour enrichir les données de Google. Pour ce faire, sélectionnez "Emails & Contacts Scraper" dans la section "Enrichir par d'autres services" de la page d'accueil. Page Google Maps Scraper.
Vous ne paierez que pour les résultats que vous avez extraits, quel que soit le nombre de requêtes.

Non. Il n'existe pas d'informations publiques sur les e-mails liés à la fiche sur Google Maps. Outscraper utilise des sources externes pour trouver ces e-mails.

Oui. Vous pouvez utiliser les filtres des paramètres avancés avec l'opérateur suivant.

Vous pouvez diviser vos tâches par ville/état ou par d'autres attributs uniques. Par exemple, vous pouvez extraire les lieux de New York dans la première tâche, et extraire les lieux de Californie dans la deuxième tâche.

Nous contacter

Questions, besoins particuliers, problèmes... Toujours heureux d'avoir de vos nouvelles.