Perguntas frequentes sobre o Outscraper
Gerais
Coletar, raspar ou extrair é um processo de obter todas as informações de algum site público. Ele automatiza a exportação manual dos dados.
A coleta, raspagem e extração de dados públicos são protegidas pela Primeira Emenda da Constituição dos Estados Unidos. O Tribunal de Apelações do Nono Circuito determinou que a extração automatizada de dados publicamente acessíveis não viola a Lei de Abuso e Fraude de Computador (CFAA). No entanto, você deve procurar o conselho de um advogado em seu assunto específico para cumprir as leis em sua jurisdição.
Estamos extraindo apenas dados disponíveis publicamente e o coletor funciona como um browser para cientistas de dados, desenvolvedores e comerciantes.
O mecanismo para garantir dados sem informações de identificação pessoal é selecionar quais colunas você deseja retornar.
Pagamentos & Assinaturas
A fatura será gerada com base no uso dos nossos serviços durante o período de faturamento (30 dias). Os preços estão listados na página.
Nível gratuito é a quantidade de uso que você pode usar gratuitamente por mês. Por exemplo, alguns produto têm um nível gratuito com 500 solicitações por mês. Isso significa que qualquer uso do produto abaixo de 500 solicitações durante um mês será gratuito.
Quando a assinatura for finalizada, você receberá uma fatura pelo uso dos nossos serviços durante o período de assinatura.
Caso você não consiga efetuar o pagamento em 3 dias, o sistema tentará cobrá-lo automaticamente.
- Antes de adicionar créditos, certifique-se de inserir seus dados na Página de informações de faturamento (caso você precise disso em faturas ou ordem de compra)
- Navegue para a sua página de perfil
- Insira a quantidade de créditos que deseja adicionar.
- Escolha o método de pagamento que você deseja utilizar para adicionar créditos (cartão de crédito, PayPal, etc.)
- Após ter clicado no botão com o seu método de pagamento, siga os passos do provedor do método de pagamento
Uma vez que você tenha alguma utilização, você pode ver a próxima fatura na página de perfil. Uma vez que você tenha o valor devido, você pode gerar a fatura manualmente clicando em "Gerar fatura" ou ela será gerada automaticamente dentro de 30 dias.
Uma vez que você adicione créditos à sua conta (opção pré-paga), você receberá o recibo da transação por e-mail.
Como alternativa, uma vez que você tenha o valor devido, você pode gerar a fatura manualmente clicando em "Gerar Fatura" na página de perfil.
Sim. Outscraper cobrará o saldo de sua conta pelo $10 e emitirá uma fatura adicional com o valor devido.
Não. A tarefa será concluída e se a utilização da tarefa for maior que os créditos de sua conta, você simplesmente receberá uma fatura com a utilização pendente.
Você pode usar limites para limitar a quantidade de dados extraídos.
- Abra a Plataforma Outscraper.
- Navegue até a página de informações sobre o faturamento.
- Digite as informações de faturamento necessárias que você deseja ver em suas faturas.
- Clique no botão Salvar. Todas as suas faturas futuras serão criadas com as informações que você inseriu.
API
O limite de consultas por segundo depende da natureza das solicitações, serviço e parâmetros de solicitação (quantidade de resultados, quantidade de consultas, etc.). O limite de consultas por segundo médio é de cerca de 20 (limite flexível). Entretanto, o Outscraper pode ser escalado de acordo com suas necessidades. Por favor, contate a equipe caso você precise de um limite de consultas mais alto.
Sim. A API suporta o envio de agrupamentos com até 25 consultas (por exemplo, consulta=texto1&consulta=texto2&consulta=texto3). Permite que várias consultas sejam enviadas em uma solicitação e economiza na latência da rede.
Navegue até a Página de histórico de uso da API para ver seus últimos pedidos.
Navegue para a página do perfil-> token da API para criar uma nova chave.
O tempo médio de resposta é de 3-5 segundos. Mas pode depender do tipo de serviço (velocidade otimizada ou não) e do número de consultas por pedido (opção de lote).
Há alguns pontos-chave que você deve seguir para aumentar o rendimento da API.
- Certifique-se de estar usando as últimas versões das endpoints da API. Por exemplo, prefira usar API de lugares V2 em vez de API de lugares V1. No caso de utilização do SDK, a última versão da API será utilizada por padrão (por exemplo google_maps_pesquisa()).
- Use o batching para enviar até 25 consultas por pedido (por exemplo, consulta=texto1&consulta=texto2&consulta=texto3). Ele permite o envio de várias consultas em uma solicitação e economiza o tempo de latência da rede.
- Execute pedidos em paralelo. Confira este exemplo.
- Use um webhook para obter resultados quando estiver pronto.
Algumas tarefas podem levar tempo para extrair os dados. Há algumas maneiras de lidar com os tempos limite.
- Use novas tentativas. É possível que algum número de pedidos de extração possa retornar um erro ou tempo limite. Normalmente, tentar mais uma vez resolve o problema.
- Utilize pedidos de assíncrono. Uma boa prática é enviar pedidos assíncronos e começar a verificar os resultados após o tempo estimado de execução. Confira esta implementação Python como exemplo.
- Use um webhook para obter resultados quando estiver pronto.
Coletor do Google Maps
Algumas vezes o Google adiciona outras categorias às suas pesquisas. Por exemplo, quando você pesquisa por restaurantespode ver bares, cafeterias lojasou até mesmo hotéis. Isso pode levar a dados irrelevantes, especialmente quando você está usando algumas categorias menores, como piscinas.
Outscraper fornece duas ferramentas que você pode usar para eliminar essas categorias.
A categoria de pontos de referência no Google Maps
Use a caixa de seleção "correspondência exata". O parâmetro especifica se deve retornar apenas as categorias que você selecionou ou tudo o que o Google mostra. Certifique-se de usar as categorias certas abrindo lugares semelhantes no Google e verificando a categoria.
Filtrando os resultados
Filtre os resultados aplicando Filtros para a coluna de subtipos. Tais filtros podem eliminar todos os dados irrelevantes e lhe devolver somente o que você precisa. Para evitar resultados vazios, certifique-se de estar familiarizado com os valores dos campos antes de usar os filtros.
Existem alguns casos em que as localizações e / ou categorias predefinidas não são suficientes. Use as opções “Lugares personalizados” ou / e “Categorias personalizadas” para inserir as categorias e / ou locais de que você precisa.
Há uma limitação do Google Maps que mostra apenas 400-500 lugares por pesquisa de uma consulta. Isso pode ser um problema quando há mais empresas em uma categoria. Por exemplo, para consultar “restaurantes, Brooklyn”.
Para superar isso, sugerimos dividir o local em sublocais. Por exemplo, usando códigos postais:
”restaurantes, Brooklyn 11203”,
”restaurantes, Brooklyn 11211”,
”restaurantes, Brooklyn 11215”,
…
Ou usando consultas com subcategorias:
“Restaurantes asiáticos, Brooklyn”,
“Restaurantes italianos, Brooklyn”,
“Restaurantes mexicanos, Brooklyn”,
…
Marque o seletor “Usar consultas” e insira as consultas.
Para forçar o Google a pesquisar apenas por empresas específicas, coloque o termo entre aspas ” “. As ” “ são normalmente usadas em torno de palavras de parada (palavras que o Google ignoraria) ou quando você deseja que o Google retorne apenas as páginas que correspondem exatamente aos seus termos de pesquisa.
Após clicar no botão “Extrair dados…” você verá a estimativa da tarefa e as consultas.
Recomenda-se clicar e abrir algumas consultas para verificar como aparece no site do Google Maps.
Há duas coisas que você deve seguir para controlar o número esperado de resultados.
1. Limite de organizações por consulta. - o limite de organizações para tirar de uma consulta.
2. Número de consultas - a quantidade de consultas de pesquisa que você fará.
Existem 6 consultas que o bot fará para extrair os dados de 2 categorias e 3 locais.
Portanto, o valor resultante não será superior a 480 organizações (limite de 80 * 6 consultas).
Você pode remover duplicatas em uma tarefa, selecionando a caixa de seleção "Eliminar duplicatas".
Sim, você pode eliminar duplicatas dentro de uma tarefa usando a caixa de seleção "Eliminar duplicatas" (parâmetros avançados). Como alternativa, você pode eliminar as duplicatas sozinho usando os campos "google_id" ou "place_id" como identificadores únicos para um lugar.
O número exato de resultados será conhecido somente após a extração.
Você pode usar “Limite total de lugares” para limitar a quantidade final de resultados extraídos.
Sim. Você pode usar o seguinte link como consulta: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z"onde você pode especificar uma consulta (imóveis+imóveis+agência), as coordenadas (41.4034,2.1718413) e o nível de zoom (17z). Você pode encontrar estes valores visitando o Google Maps.
Como alternativa, você pode usar o parâmetro "coordenadas" se você estiver usando a API.
Sim. Você pode usar o Coletor de e-mails e contatos junto com o coletor do Google Maps para enriquecer os dados do Google. Para isso, selecione "Coletor de e-mails e contatos" na seção "Enriquecer com outros serviços" na página do Coletor do Google Maps.
Você pagará apenas pelos resultados que extraiu, não importando quantas consultas sejam feitas.
Não. Não há informações públicas sobre e-mails relacionados com a listagem no Google Maps. O Outscraper utiliza fontes externas para encontrar esses e-mails.
Sim. Você pode usar filtros a partir dos parâmetros avançados com o seguinte operador.
Você pode dividir suas tarefas por cidade/estado ou por alguns outros atributos únicos. Por exemplo, você pode extrair lugares de Nova Iorque na primeira tarefa e extrair os lugares da Califórnia na segunda tarefa.
Entre em contato conosco
Dúvidas, necessidades especiais, perguntas ... Sempre feliz em ouvir você.