Perguntas frequentes sobre o Outscraper
Gerais
Raspar, colher ou extrair é um processo de obter todas as informações de algum site público. Ele automatiza a exportação manual dos dados.
A coleta, raspagem e extração de dados públicos são protegidas pela Primeira Emenda da Constituição dos Estados Unidos. O Tribunal de Apelações do Nono Circuito determinou que a extração automatizada de dados publicamente acessíveis não viola a Lei de Abuso e Fraude de Computador (CFAA). No entanto, você deve procurar o conselho de um advogado em seu assunto específico para cumprir as leis em sua jurisdição.
Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.
Estamos extraindo apenas dados disponíveis publicamente e o coletor funciona como um browser para cientistas de dados, desenvolvedores e comerciantes.
O mecanismo para garantir dados sem informações de identificação pessoal é selecionar quais colunas você deseja retornar.
No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.
Pagamentos & Assinaturas
The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.
Nível gratuito é a quantidade de uso que você pode usar gratuitamente por mês. Por exemplo, alguns produto têm um nível gratuito com 500 solicitações por mês. Isso significa que qualquer uso do produto abaixo de 500 solicitações durante um mês será gratuito.
When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.
Caso você não consiga efetuar o pagamento em 3 dias, o sistema tentará cobrá-lo automaticamente.
- Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
- Navigate to your profile page.
- Insira a quantidade de créditos que deseja adicionar.
- Escolha o método de pagamento que você deseja utilizar para adicionar créditos (cartão de crédito, PayPal, etc.)
- Após ter clicado no botão com o seu método de pagamento, siga os passos do provedor do método de pagamento
Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.
Uma vez que você adicione créditos à sua conta (opção pré-paga), você receberá o recibo da transação por e-mail.
Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.
Sim. Outscraper cobrará o saldo de sua conta pelo $10 e emitirá uma fatura adicional com o valor devido.
Não. A tarefa será concluída e se a utilização da tarefa for maior que os créditos de sua conta, você simplesmente receberá uma fatura com a utilização pendente.
Você pode usar limites para limitar a quantidade de dados extraídos.
- Open Outscraper Platform.
- Navegue até a página de informações sobre o faturamento.
- Digite as informações de faturamento necessárias que você deseja ver em suas faturas.
- Clique no botão Salvar. Todas as suas faturas futuras serão criadas com as informações que você inseriu.
Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.
API
The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.
Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.
Navigate to the API Usage History page to see your latest requests.
Navegue para a página do perfil-> token da API para criar uma nova chave.
O tempo médio de resposta é de 3-5 segundos. Mas pode depender do tipo de serviço (velocidade otimizada ou não) e do número de consultas por pedido (opção de lote).
Há alguns pontos-chave que você deve seguir para aumentar o rendimento da API.
- Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2 instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
- Use o batching para enviar até 25 consultas por pedido (por exemplo, consulta=texto1&consulta=texto2&consulta=texto3). Ele permite o envio de várias consultas em uma solicitação e economiza o tempo de latência da rede.
- Run requests in parallel. Check out this example.
- Use a webhook to fetch results once it’s ready.
Algumas tarefas podem levar tempo para extrair os dados. Há algumas maneiras de lidar com os tempos limite.
- Use novas tentativas. É possível que algum número de pedidos de extração possa retornar um erro ou tempo limite. Normalmente, tentar mais uma vez resolve o problema.
- Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
- Use a webhook to fetch results once it’s ready.
Coletor do Google Maps
Sometimes Google adds other categories to your searches. For example, when you search for restaurants, you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using minor categories like swimming pools.
Outscraper fornece duas ferramentas que você pode usar para eliminar essas categorias.
A categoria de pontos de referência no Google Maps
Use a caixa de seleção "correspondência exata". O parâmetro especifica se deve retornar apenas as categorias que você selecionou ou tudo o que o Google mostra. Certifique-se de usar as categorias certas abrindo lugares semelhantes no Google e verificando a categoria.
Filtrando os resultados
Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.
Existem alguns casos em que as localizações e / ou categorias predefinidas não são suficientes. Use as opções “Lugares personalizados” ou / e “Categorias personalizadas” para inserir as categorias e / ou locais de que você precisa.
Há uma limitação do Google Maps que mostra apenas 400-500 lugares por pesquisa de uma consulta. Isso pode ser um problema quando há mais empresas em uma categoria. Por exemplo, para consultar “restaurantes, Brooklyn”.
Para superar isso, sugerimos dividir o local em sublocais. Por exemplo, usando códigos postais:
”restaurantes, Brooklyn 11203”,
”restaurantes, Brooklyn 11211”,
”restaurantes, Brooklyn 11215”,
…
Ou usando consultas com subcategorias:
“Restaurantes asiáticos, Brooklyn”,
“Restaurantes italianos, Brooklyn”,
“Restaurantes mexicanos, Brooklyn”,
…
Marque o seletor “Usar consultas” e insira as consultas.
Para forçar o Google a pesquisar apenas por empresas específicas, coloque o termo entre aspas ” “. As ” “ são normalmente usadas em torno de palavras de parada (palavras que o Google ignoraria) ou quando você deseja que o Google retorne apenas as páginas que correspondem exatamente aos seus termos de pesquisa.
Após clicar no botão “Extrair dados…” você verá a estimativa da tarefa e as consultas.
Recomenda-se clicar e abrir algumas consultas para verificar como aparece no site do Google Maps.
Há duas coisas que você deve seguir para controlar o número esperado de resultados.
1. Organizations per query limit – the limit of organizations to take from one query.
2. Number of queries – the amount of search queries you’re going to make.
Existem 6 consultas que o bot fará para extrair os dados de 2 categorias e 3 locais.
Portanto, o valor resultante não será superior a 480 organizações (limite de 80 * 6 consultas).
Você pode remover duplicatas em uma tarefa, selecionando a caixa de seleção "Eliminar duplicatas".
Sim, você pode eliminar duplicatas dentro de uma tarefa usando a caixa de seleção "Eliminar duplicatas" (parâmetros avançados). Como alternativa, você pode eliminar as duplicatas sozinho usando os campos "google_id" ou "place_id" como identificadores únicos para um lugar.
O número exato de resultados será conhecido somente após a extração.
Você pode usar “Limite total de lugares” para limitar a quantidade final de resultados extraídos.
Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.
Alternatively, you can use the “coordinates” parameter if you are using the API.
Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.
Você pagará apenas pelos resultados que extraiu, não importando quantas consultas sejam feitas.
Não. Não há informações públicas sobre e-mails relacionados com a listagem no Google Maps. O Outscraper utiliza fontes externas para encontrar esses e-mails.
Sim. Você pode usar filtros a partir dos parâmetros avançados com o seguinte operador.
Você pode dividir suas tarefas por cidade/estado ou por alguns outros atributos únicos. Por exemplo, você pode extrair lugares de Nova Iorque na primeira tarefa e extrair os lugares da Califórnia na segunda tarefa.
Sim. To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.
To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/
Entre em contato conosco
Dúvidas, necessidades especiais, perguntas ... Sempre feliz em ouvir você.