Índice
Google Maps Raspando em Puro Python
A extração de dados do Google Maps requer um bom conhecimento de codificação, emulação de navegador, proxies e um reCAPTCHA solver. Além disso, você também deve estar pronto para lidar com as mudanças que o Google possa fazer em seu conteúdo dinâmico.
Primeiro de tudo, você precisará imitar o comportamento do usuário real, usando a emulação do navegador. Usando Selênio ou outros emuladores de navegador podem ser uma boa solução.
Em segundo lugar, se você quiser manter seu escritório/casa IP seguro, você precisará usar procuradores. Portanto, você pode solicitar sites na Internet a partir de IPs de outras pessoas.
Mesmo com esse conjunto de ferramentas, uma vez que você tenha algum bom uso, o Google poderá mostrar-lhe o reCAPTCHA e ligá-lo a alguns de seus IPs. Se você não quiser mudar os IPs toda vez que vir um reCAPTCHA, você pode adicionar um reCAPTCHA solver.
Além disso, esteja preparado para situações em que o Google possa alterar seu conteúdo. Você pode fazer isso executando testes diários.
Embora possa levar algum tempo para implementar o raspador, ele pode ser construído e mantido. Confira este tutorial passo a passo sobre como raspar o Google Maps usando Python e Selenium para saber mais: Como extrair dados do Google Maps com Python e Selenium.
Google Maps Scraping com Pacote Python Outscraper
Uma maneira mais simples e confiável de raspar o Google Maps será usar o Outscraper biblioteca de pitões. Ele fornece acesso conveniente ao API do Outscraper de aplicações escritas na linguagem Python, o que permite utilizar Serviços do Outscraper de seu código.
Você pode começar instalando o pacote e criação de uma conta em Outscraper.
Instalação
Instale o Outscraper SDK executando o seguinte comando (Python 3+ é necessário):
pip install outscraper
Inicialização
Inicialize o cliente Outscraper, importando a classe e adicionando sua chave secreta API. Você pode gerar a chave API em a página do perfil.
from outscraper import ApiClient
client = ApiClient(api_key='SECRET_API_KEY')
Exemplos de uso
Aqui estão exemplos de como você pode raspar lugares do Google Maps usando as consultas de busca:
# Search for businesses in specific locations:
results = client.google_maps_search_v2(['restaurants brooklyn usa'], limit=20, language='en', region='us')
# Scrap Places by Two Queries
results = client.google_maps_search_v2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, # limit of palces per each query
language='en',
region='US',
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('query:', place['query'])
print('name:', place['name'])
print('phone:', place['phone'])
print('website:', place['site'])
Também é possível extrair os dados usando o Place Id:
# Get data of the specific place by id
results = client.google_maps_search_v2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en')
# Scrap Places by Place Ids
results = client.google_maps_search_v2(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, # limit of palces per each query
)
# Iterate over the results
for query_places in results:
for place in query_places:
print('name:', place['name'])
print('place_id:', place['place_id'])
Experimente agora o Outscraper SDK
O Outscraper SDK está disponível para que você faça facilmente o Google Maps Scraping com Python. Você pode experimentá-lo agora mesmo com um Free Tier.
Você pode raspar os resultados do Google Map usando o Outscraper SDK. Especifique as consultas de busca, idioma e outros parâmetros e envie sua solicitação.
instalar o outscraper
de outscraper importação ApiCliente cliente = ApiCliente(api_key=CHAVE_DE_API_SECRETO)
# Busca de negócios em locais específicos: resultados = cliente.google_maps_search(restaurantes no brooklyn eua, limite=20, idioma=pt) # Obter dados do local específico por id resultados = cliente.google_maps_search(ChIJrc9T9fpYwokRdvjYRHT8nI4'., idioma=pt) # Busca com muitas consultas (em lote) resultados = cliente.google_maps_search([ restaurantes no brooklyn eua, bares brooklyn eua, ], idioma=pt)
Raspar o Google Maps requer bons conhecimentos de codificação, emulação de navegador, proxies, e reCAPTCHA solver. Além disso, você também deve estar pronto para lidar com as mudanças que o Google possa fazer em seu conteúdo dinâmico.
Google Maps não permite a raspagem. Embora, a raspagem e a extração de dados públicos seja protegida pela Primeira Emenda da Constituição dos Estados Unidos.
Comentário de 0