Outscraper FAQ

Em geral

Raspar, colher ou extrair é um processo de obter todas as informações de algum site público. Ele automatiza a exportação manual dos dados.
A coleta e extração de dados públicos é protegida pela Primeira Emenda da Constituição dos Estados Unidos. O Tribunal de Apelações do Nono Circuito decidiu que a coleta automática de dados acessíveis ao público não viola a Lei de Fraude e Abuso de Computador (CFAA). No entanto, você deve procurar o conselho de um advogado sobre seu assunto específico para cumprir as leis em sua jurisdição.
Confira API Docs ou visita GitHub página para obter informações sobre como você pode integrar serviços com seu código. Confira o blog.
Você pode desativar as notificações no página de perfil.
Estamos extraindo apenas dados disponíveis publicamente, e o raspador funciona como um navegador para cientistas de dados, desenvolvedores e comerciantes. O mecanismo para garantir dados sem PII é selecionar quais colunas você deseja retornar.

Pagamentos & Assinaturas

A fatura será gerada com base no uso de os serviços durante o faturamento período (30 dias). Os preços estão listados em a página.
Nível gratuito é a quantidade de uso que você pode usar gratuitamente a cada mês. Por exemplo, algum produto X tem um nível gratuito com 500 solicitações por mês. Isso significa que qualquer uso do produto abaixo de 500 solicitações durante um mês será gratuito.
Quando uma assinatura for finalizada, você receberá uma fatura pelo uso de os serviços durante o período de assinatura. Caso você não consiga efetuar o pagamento em 3 dias, o sistema tentará cobrar de você automaticamente.
Uma vez que você tenha alguma utilização, você pode ver a próxima fatura em a página de perfil. Uma vez que você tenha o valor devido, você pode gerar a fatura manualmente clicando em "Gerar fatura" ou ela será gerada automaticamente dentro de 30 dias.
Uma vez que você adicionar créditos à sua conta (opção pré-paga), você receberá o recibo da transação por e-mail. As faturas com os usos de serviços específicos serão geradas após cada período de faturamento (30 dias). Alternativamente, uma vez que você tenha o valor devido, você pode gerar a fatura manualmente clicando em "Gerar Fatura" em a página de perfil.

Sim. Outscraper cobrará o saldo de sua conta pelo $10 e emitirá uma fatura adicional com o valor devido.

Sim.

Não. A tarefa será concluída e se a utilização da tarefa for maior que os créditos de sua conta, você simplesmente receberá uma fatura com a utilização pendente.

Você pode usar limites para limitar a quantidade de dados extraídos.

API

O limite de consultas por segundo depende da natureza das solicitações, serviço e parâmetros de solicitação (quantidade de resultados, quantidade de consultas, etc.). O QPS médio é de cerca de 20 (limite suave). Entretanto, o Outscraper pode ser escalado de acordo com suas necessidades. Por favor, contate a equipe caso você precise de QPS mais alto.

Sim. O API suporta o envio de conjuntos com até 25 consultas (por exemplo query=text1&query=text2&query=text3). Permite o envio de múltiplas consultas em uma única solicitação e economiza tempo de latência da rede.

Navegue até o Página de histórico de uso da API para ver seus últimos pedidos.

Navegue para página de perfil-> fichaAPI para criar uma nova chave.

O tempo médio de resposta é de 3-5 segundos. Mas pode depender do tipo de serviço (velocidade otimizada ou não) e do número de consultas por pedido (opção de lote).

Há alguns pontos-chave que você deve seguir para aumentar o rendimento do API.

  1. Certifique-se de estar usando as últimas versões dos pontos finais da API. Por exemplo, prefira usar Lugares API V2  em vez de Lugares API V1. No caso de utilização do SDK, a última versão da API será utilizada por padrão (por exemplo google_maps_search()).
  2. Use o batching para enviar até 25 consultas por pedido (por exemplo, query=text1&query=text2&query=text3). Ele permite o envio de várias consultas em uma solicitação e economiza o tempo de latência da rede.
  3. Executar pedidos em paralelo. Confira este exemplo.
  4. Use um webhook para buscar resultados quando estiver pronto.

Algumas tarefas podem levar tempo para extrair os dados. Há algumas maneiras de lidar com os intervalos de tempo.

  1. Use novas tentativas. Espere que algum número de pedidos de raspagem possa retornar um erro ou tempo esgotado. Normalmente, tentar mais uma vez resolve o problema.
  2. Utilizar pedidos de assíncrono. Uma boa prática é enviar pedidos de assimetrias e começar a verificar os resultados após o tempo estimado de execução. Confira este A implementação da Python como exemplo.
  3. Use um webhook para buscar resultados quando estiver pronto.

Raspador do Google Maps

Algumas vezes o Google adiciona outras categorias a suas buscas. Por exemplo, quando você pesquisa por restaurantes você pode ver bares, café lojasou mesmo hotéis. Isto pode levar a dados irrelevantes, especialmente quando você está usando algumas categorias menores, como piscinas.

Outscraper fornece duas ferramentas que você pode usar para eliminar essas categorias.

  1. A categoria de referência no Google Maps

    Use o "correspondência exata" caixa de seleção. O parâmetro especifica se você deve retornar somente as categorias selecionadas ou tudo o que o Google mostra. Verifique se você está usando as categorias certas, abrindo lugares similares no google e verificando a categoria.

  2. Filtrando os resultados

    Filtre os resultados aplicando Filtros para a coluna de subtipos. Tais filtros podem eliminar todos os dados irrelevantes e lhe devolver somente o que você precisa. Para evitar resultados vazios, certifique-se de estar familiarizado com os valores dos campos antes de usar os Filtros.

Existem alguns casos em que as localizações e / ou categorias predefinidas não são suficientes. Use as opções “Locais personalizados” ou / e “Categorias personalizadas” para inserir as categorias e / e locais de que você precisa.
Há uma limitação do Google Maps que mostra apenas até 400-500 lugares por pesquisa de uma consulta. Isso pode ser um problema quando há mais empresas em uma categoria. Por exemplo, para consulta “Restaurantes, Brooklyn”. Para superar isso, sugerimos dividir o local em sub-localizações. Por exemplo, utilizando códigos postais: ”Restaurantes, Brooklyn 11203”, ”Restaurantes, Brooklyn 11211”, ”Restaurantes, Brooklyn 11215”... Ou usando consultas com sub-categorias: “Restaurantes asiáticos, Brooklyn”, “Restaurantes italianos, Brooklyn”, “Restaurantes mexicanos, Brooklyn”, …
Marque o switcher “Usar consultas” e insira as consultas.
Para forçar o Google a pesquisar apenas por empresas específicas, coloque o termo entre aspas ”“. o ” “ operador é normalmente usado em torno de palavras de parada (palavras que o Google ignoraria) ou quando você deseja que o Google retorne apenas as páginas que correspondem exatamente aos seus termos de pesquisa.
Após clicar no botão “Extrair dados…” você verá a estimativa da tarefa e as consultas. Recomenda-se clicar e abrir algumas consultas para verificar como fica no site do Google Maps.
Há duas coisas que você deve seguir para controlar o número esperado de resultados. 1. Organizações por limite de consulta - o limite de organizações para tirar de uma consulta. 2. Número de consultas - a quantidade de consultas de pesquisa que você fará. Existem 6 consultas que o bot fará para extrair os dados de 2 categorias e 3 locais. Portanto, o valor resultante não será superior a 480 organizações (limite de 80 * 6 consultas).

Você pode remover duplicatas em uma tarefa, selecionando a caixa de seleção "Drop duplicates".

Sim, você pode soltar duplicatas dentro de uma tarefa usando a caixa de seleção "Drop duplicates" (parâmetros avançados). Alternativamente, você pode soltar as duplicatas sozinho usando os campos "google_id" ou "place_id" como identificadores únicos para um lugar.

O número exato de resultados só será conhecido após a extração. Você pode usar "Limite total de lugares" para limitar a quantidade final de resultados raspados.
Sim. Você pode usar o seguinte link como uma consulta "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z"onde você pode especificar uma consulta (imóveis+imóveis+agência), as coordenadas (41.4034,2.1718413) e o nível de zoom (17z). Você pode encontrar estes valores enquanto visita o Google Maps. Alternativamente, você pode usar o parâmetro "coordenadas" se você estiver usando API.
Sim. Você pode usar Raspador de e-mails e contatos junto com o Google Maps scraper para enriquecer os dados do Google. Para isso, selecione "Emails & Contacts Scraper" na seção "Enrich by other services" na seção "Enrich by other services" no Página do Google Maps Scraper.
Você pagará apenas pelos resultados que extraiu, não importando quantas consultas sejam feitas.

Não há informações públicas sobre e-mails relacionados com a listagem no Google Maps. O Outscraper utiliza fontes externas para encontrar esses e-mails.

Sim. Você pode usar filtros a partir dos parâmetros avançados com o seguinte operador.

Você pode dividir suas tarefas por cidade/estado ou por alguns outros atributos únicos. Por exemplo, você pode extrair lugares de Nova Iorque na primeira tarefa, e extrair os lugares da Califórnia na segunda tarefa.

Entre em contato conosco

Dúvidas, necessidades especiais, questões ... Sempre feliz em ouvir de você.