Preguntas frecuentes sobre Outscraper
General
Scraping, recolección o extracción es el proceso de obtener toda la información de algún sitio público. Automatiza la exportación manual de los datos.
El scraping y la extracción de datos públicos están protegidos por la Primera Enmienda de la Constitución de Estados Unidos. El Tribunal de Apelación del Noveno Circuito dictaminó que el scraping automatizado de datos de acceso público no infringe la Ley de Fraude y Abuso Informático (CFAA). No obstante, debe solicitar el asesoramiento de un abogado sobre su asunto concreto para cumplir la legislación de su jurisdicción.
Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.
Solo extraemos datos disponibles públicamente, y el Scraping funciona como un navegador para científicos de datos, desarrolladores y vendedores.
El mecanismo para garantizar datos libres de información de identificación personal es seleccionar qué columnas se quieren devolver.
Pagos y suscripciones
La factura se generará en función del uso de los servicios durante el periodo de facturación (30 días). Los precios figuran en la página.
El nivel gratuito es la cantidad de uso que puede hacer cada mes de forma gratuita. Por ejemplo, algunos productos tienen un nivel gratuito de 500 solicitudes al mes. Esto significa que cualquier uso del producto inferior a 500 solicitudes durante un mes será gratuito.
Al finalizar la suscripción, recibirá una factura por el uso de los servicios durante el periodo de suscripción.
En caso de que no pueda efectuar el pago en el plazo de 3 días, el sistema intentará cobrárle automáticamente.
- Antes de añadir créditos, asegúrate de haber introducido tus datos en la página de información de facturación (por si los necesitas en facturas o PO).
- Navegue hasta su página de perfil..
- Ingrese la cantidad de créditos que desea agregar.
- Elija el método de pago que desea utilizar para agregar créditos (tarjeta de crédito, PayPal, etc.).
- Tras hacer clic en el botón con su método de pago, siga los pasos del proveedor del método de pago.
Una vez que tengas algún consumo, podrás ver la factura próxima en la Página de Perfil. Una vez que tengas el importe a pagar, puedes generar la factura manualmente haciendo clic en "Generar factura", o se generará automáticamente en un plazo de 30 días.
Una vez que añada créditos a su cuenta (opción de prepago), recibirá el recibo de la transacción por correo electrónico.
Las facturas con el uso de servicios específicos se generarán después de cada periodo de facturación (30 días). Alternativamente, una vez que tenga el importe adeudado, puede generar la factura manualmente haciendo clic en "Generar factura" en la página de perfil.
Sí. Outscraper cargará el saldo de su cuenta para $10 y emitirá una factura adicional con el importe debido.
No. La tarea se terminará, y si el uso de la tarea es superior a los créditos de su cuenta, simplemente recibirá una factura con el uso pendiente.
Puede utilizar límites para limitar la cantidad de datos extraídos.
- Abra Outscraper Platform.
- Navegue hasta la página de información sobre la facturación.
- Introduzca la información de facturación necesaria que desea ver en sus facturas.
- Haga clic en el botón Guardar. Todas sus facturas futuras se crearán con la información que haya introducido.
Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.
API
El límite de consultas por segundo depende de la naturaleza de las solicitudes, del servicio y de los parámetros de la solicitud (cantidad de resultados, número de consultas, etc.). El QPS medio es de unos 20 (límite suave). No obstante, Outscraper puede escalarse en función de sus necesidades. Por favor, contacte con el equipo en caso de que necesite un QPS mayor.
Sí. La API admite el envío por lotes de matrices con un máximo de 25 consultas (por ejemplo, consulta=texto1&consulta=texto2&consulta=texto3). Permite enviar varias consultas en una sola petición y ahorra latencia de red.
Navegue hasta la página Historial de uso de la API para ver sus últimas solicitudes.
Navegue a la página de perfil->token de API para crear una nueva clave.
El tiempo medio de respuesta es de 3-5 segundos. Pero puede depender del tipo de servicio (velocidad optimizada o no) y del número de consultas por solicitud (opción de lote).
Hay algunos puntos clave que debe seguir para aumentar el rendimiento de la API.
- Asegúrese de que está utilizando las últimas versiones de los puntos finales de la API. Por ejemplo, prefiera utilizar Places API V2 en lugar de Places API V1. En el caso de utilizar SDK se utilizará por defecto la última versión de API (por ejemplo google_maps_search()).
- Utilice la agrupación por lotes para enviar hasta 25 consultas en una sola petición (por ejemplo, consulta=texto1&consulta=texto2&consulta=texto3). Permite enviar varias consultas en una sola petición y ahorrar tiempo de latencia de la red.
- Ejecutar peticiones en paralelo. Echa un vistazo a este ejemplo.
- Utilice un webhook para obtener los resultados una vez que esté listo.
Algunas tareas pueden tardar en extraer los datos. Hay algunas maneras de manejar los tiempos de espera.
- Utilice reintentos. Es posible que un cierto número de solicitudes de extracción devuelvan un error o agoten el tiempo de espera. Normalmente, el problema se resuelve intentándolo una vez más.
- Utilizar peticiones asíncronas. Una buena práctica es enviar peticiones async y empezar a comprobar los resultados después del tiempo de ejecución estimado. Echa un vistazo a esta implementación de Python como ejemplo.
. - Utilice un webhook para obtener los resultados una vez que esté listo.
El Scraping de Google Maps
A veces Google añade otras categorías a tus búsquedas. Por ejemplo, cuando buscas restaurantes, es posible que aparezcan bares, cafeterías, tiendas o incluso hoteles. Esto puede dar lugar a datos irrelevantes, especialmente cuando se utilizan categorías menores como piscinas
.
Outscraper le proporciona dos herramientas que puede utilizar para eliminar esas categorías.
La categoría de puntos de referencia en Google Maps
Utilice la casilla de verificación "correspondencia exacta". El parámetro especifica si se devuelven solo las categorías seleccionadas o todo lo que muestra Google. Asegúrese de que está utilizando las categorías correctas abriendo lugares similares en Google y comprobando la categoría.
Filtrar los resultados
Filtra los resultados aplicando Filtros a la columna de subtipos. Estos filtros pueden eliminar todos los datos irrelevantes y devolver sólo lo que necesitas. Para evitar resultados vacíos, asegúrese de que conoce los valores de los campos antes de utilizar los Filtros.
En algunos casos, las ubicaciones o categorías predefinidas no son suficientes. Utilice las opciones "Ubicaciones personalizadas" o/y "Categorías personalizadas" para insertar las categorías o ubicaciones que necesite.
Hay una limitación en Google Maps que muestra solo hasta 400-500 lugares por una búsqueda de consulta. Esto puede ser un problema cuando hay más empresas en una categoría. Por ejemplo, para la consulta "restaurantes, Brooklyn".
Para solucionarlo, sugerimos dividir la localidad en sublocalidades. Por ejemplo, utilizando códigos postales:
"restaurantes, Brooklyn 11203",
"restaurantes, Brooklyn 11211",
”restaurantes, Brooklyn 11215",
…
O usando consultas con subcategorías:
"Restaurantes asiáticos, Brooklyn",
"Restaurantes italianos, Brooklyn",
"Restaurantes mexicanos, Brooklyn",
…
Marque el conmutador "Utilizar consultas" e introduzca las consultas.
Para obligar a Google a buscar solo determinadas empresas, incluya el término entre comillas " ". La ” “ generalmente se usan alrededor de palabras vacías (palabras que Google ignoraría de otra manera) o cuando desea que Google devuelva solo aquellas páginas que coinciden exactamente con sus términos de búsqueda.
Después de hacer clic en el botón "Extraer datos ...", verá la estimación de la tarea y las consultas.
Se recomienda hacer clic y abrir algunas consultas para verificar cómo se ve en el sitio de Google Maps.
Hay dos cosas que debe seguir para controlar el número esperado de resultados.
1. Límite de organizaciones por consulta - el límite de organizaciones a tomar de una consulta.
2. Número de consultas: la cantidad de consultas de búsqueda que vas a realizar.
Hay 6 consultas que hará el bot para extraer los datos de 2 categorías y 3 ubicaciones.
Por tanto, la cantidad resultante no será superior a 480 organizaciones (límite de 80 * 6 consultas).
Puede eliminar los duplicados en una tarea seleccionando la casilla "Eliminar duplicados".
Sí, puede eliminar duplicados dentro de una tarea utilizando la casilla "Eliminar duplicados" (parámetros avanzados). También puede eliminarlos usted mismo utilizando los campos "google_id" o "place_id" como identificadores únicos de un lugar.
El número exacto de resultados se conocerá solo después de la extracción.
Puede utilizar el "Límite de lugares totales" para limitar la cantidad final de resultados extraídos.
Sí. Puede utilizar el siguiente enlace como consulta: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" donde puede especificar una consulta (inmobiliaria+agencia), las coordenadas (41.4034,2.1718413) y el nivel de zoom (17z). Puedes encontrar estos valores visitando Google Maps.
Como alternativa, puede utilizar el parámetro "coordenadas" si utiliza la API.
Sí, puedes utilizar Emails & Contacts Scraper junto con Google Maps scraper para enriquecer los datos de Google. Para ello, selecciona "Emails & Contacts Scraper" en la sección "Enrich by other services" de la página Google Maps Scraper.
Solo pagará por los resultados que extraiga, independientemente del número de consultas que realice.
No. No hay información pública sobre los correos electrónicos relacionados con el listado en Google Maps. Outscraper utiliza fuentes externas para encontrar esos correos electrónicos.
Sí. Puede utilizar los filtros de los parámetros avanzados con el siguiente operador.
Puede dividir sus tareas por ciudad/estado u otros atributos únicos. Por ejemplo, puede extraer lugares de Nueva York en la primera tarea y lugares de California en la segunda tarea.
Contáctenos
Preguntas, necesidades especiales, problemas ... Siempre feliz de saber de usted.