Preguntas frecuentes sobre Outscraper
General
Scraping, recolección o extracción es el proceso de obtener toda la información de algún sitio público. Automatiza la exportación manual de los datos.
El scraping y la extracción de datos públicos están protegidos por la Primera Enmienda de la Constitución de Estados Unidos. El Tribunal de Apelación del Noveno Circuito dictaminó que el scraping automatizado de datos de acceso público no infringe la Ley de Fraude y Abuso Informático (CFAA). No obstante, debe solicitar el asesoramiento de un abogado sobre su asunto concreto para cumplir la legislación de su jurisdicción.
Solo extraemos datos disponibles públicamente, y el Scraping funciona como un navegador para científicos de datos, desarrolladores y vendedores.
El mecanismo para garantizar datos libres de información de identificación personal es seleccionar qué columnas se quieren devolver.
Pagos y suscripciones
La factura se generará en función del uso de los nuestros servicios durante el período de facturación (30 días). Los precios se enumeran en la página.
El nivel gratuito es la cantidad de uso que puede hacer cada mes de forma gratuita. Por ejemplo, algunos productos tienen un nivel gratuito de 500 solicitudes al mes. Esto significa que cualquier uso del producto inferior a 500 solicitudes durante un mes será gratuito.
Cuando finalice la suscripción, recibirá una factura por el uso de los nuestros servicios durante el período de suscripción.
En caso de que no pueda efectuar el pago en el plazo de 3 días, el sistema intentará cobrárle automáticamente.
- Antes de agregar créditos, asegúrese de haber ingresado sus datos en la página de información de facturación (en caso de que lo necesite en facturas o pedidos de compra)
- Navegue a la su página de perfil
- Ingrese la cantidad de créditos que desea agregar.
- Elija el método de pago que desea utilizar para agregar créditos (tarjeta de crédito, PayPal, etc.).
- Tras hacer clic en el botón con su método de pago, siga los pasos del proveedor del método de pago.
Una vez que tenga algún uso, puede ver la próxima factura en la página de perfil. Una vez que tenga el importe adeudado, puede generar la factura manualmente haciendo clic en "Generar factura", o se generará automáticamente en un plazo de 30 días.
Una vez que añada créditos a su cuenta (opción de prepago), recibirá el recibo de la transacción por correo electrónico.
Las facturas con el uso de servicios específicos se generarán después de cada periodo de facturación (30 días). Como alternativa, una vez que tenga el importe adeudado, puede generar la factura manualmente haciendo clic en "Generar factura" en la página de perfil.
Sí. Outscraper cargará el saldo de su cuenta para $10 y emitirá una factura adicional con el importe debido.
No. La tarea se terminará, y si el uso de la tarea es superior a los créditos de su cuenta, simplemente recibirá una factura con el uso pendiente.
Puede utilizar límites para limitar la cantidad de datos extraídos.
- Abra la Plataforma Outscraper.
- Navegue hasta la página de información sobre la facturación.
- Introduzca la información de facturación necesaria que desea ver en sus facturas.
- Haga clic en el botón Guardar. Todas sus facturas futuras se crearán con la información que haya introducido.
API
El límite de consultas por segundo depende de la naturaleza de las solicitudes, del servicio y de los parámetros de la solicitud (cantidad de resultados, número de consultas, etc.). El límite de consultas por segundo medio es de unos 20 (límite flexible). No obstante, Outscraper puede ampliarse en función de sus necesidades. Consulte póngase en contacto con el equipo en caso de que necesite un límite de consultas por segundo más alto.
Sí. La API admite el envío por lotes de matrices con hasta 25 consultas (por ejemplo, consulta=texto1&consulta=texto2&consulta=texto3). Permite enviar varias consultas en una sola petición y ahorra latencia en la red.
Navegue hasta la Página del historial de uso de la API para ver sus últimas solicitudes.
Navegue a la página de perfil->token de API para crear una nueva clave.
El tiempo medio de respuesta es de 3-5 segundos. Pero puede depender del tipo de servicio (velocidad optimizada o no) y del número de consultas por solicitud (opción de lote).
Hay algunos puntos clave que debe seguir para aumentar el rendimiento de la API.
- Asegúrese de que utiliza las últimas versiones de las terminales de la API. Por ejemplo, prefiera utilizar API de lugares V2 en lugar de API de lugares V1. En el caso de utilizar SDK se utilizará por defecto la última versión de API (p.ej. google_maps_búsqueda()).
- Utilice la agrupación por lotes para enviar hasta 25 consultas en una sola petición (por ejemplo, consulta=texto1&consulta=texto2&consulta=texto3). Permite enviar varias consultas en una sola petición y ahorrar tiempo de latencia de la red.
- Ejecute solicitudes en paralelo. Compruebe este ejemplo.
- Utilice un webhook para obtener resultados una vez que esté listo.
Algunas tareas pueden tardar en extraer los datos. Hay algunas maneras de manejar los tiempos de espera.
- Utilice reintentos. Es posible que un cierto número de solicitudes de extracción devuelvan un error o agoten el tiempo de espera. Normalmente, el problema se resuelve intentándolo una vez más.
- Utilice solicitudes asíncronas. Una buena práctica es enviar solicitudes asíncronas y empezar a comprobar los resultados una vez transcurrido el tiempo de ejecución estimado. Compruebe esta implementación de Python como ejemplo.
- Utilice un webhook para obtener resultados una vez que esté listo.
El Scraping de Google Maps
A veces, Google añade otras categorías a sus búsquedas. Por ejemplo, cuando se busca restauranteses posible que vea bares, cafeterías tiendaso incluso hoteles. Esto podría dar lugar a datos irrelevantes, especialmente cuando se utilizan categorías menores como piscinas.
Outscraper le proporciona dos herramientas que puede utilizar para eliminar esas categorías.
La categoría de puntos de referencia en Google Maps
Utilice la casilla de verificación "correspondencia exacta". El parámetro especifica si se devuelven solo las categorías seleccionadas o todo lo que muestra Google. Asegúrese de que está utilizando las categorías correctas abriendo lugares similares en Google y comprobando la categoría.
Filtrar los resultados
Filtre los resultados aplicando Filtros a las columnas de subtipos. Estos filtros pueden eliminar todos los datos irrelevantes y devolver solo lo que necesita. Para evitar resultados vacíos, asegúrese de que conoce los valores de los campos antes de utilizar los filtros.
En algunos casos, las ubicaciones o categorías predefinidas no son suficientes. Utilice las opciones "Ubicaciones personalizadas" o/y "Categorías personalizadas" para insertar las categorías o ubicaciones que necesite.
Hay una limitación en Google Maps que muestra solo hasta 400-500 lugares por una búsqueda de consulta. Esto puede ser un problema cuando hay más empresas en una categoría. Por ejemplo, para la consulta "restaurantes, Brooklyn".
Para solucionarlo, sugerimos dividir la localidad en sublocalidades. Por ejemplo, utilizando códigos postales:
"restaurantes, Brooklyn 11203",
"restaurantes, Brooklyn 11211",
”restaurantes, Brooklyn 11215",
…
O usando consultas con subcategorías:
"Restaurantes asiáticos, Brooklyn",
"Restaurantes italianos, Brooklyn",
"Restaurantes mexicanos, Brooklyn",
…
Marque el conmutador "Utilizar consultas" e introduzca las consultas.
Para obligar a Google a buscar solo determinadas empresas, incluya el término entre comillas " ". La ” “ generalmente se usan alrededor de palabras vacías (palabras que Google ignoraría de otra manera) o cuando desea que Google devuelva solo aquellas páginas que coinciden exactamente con sus términos de búsqueda.
Después de hacer clic en el botón "Extraer datos ...", verá la estimación de la tarea y las consultas.
Se recomienda hacer clic y abrir algunas consultas para verificar cómo se ve en el sitio de Google Maps.
Hay dos cosas que debe seguir para controlar el número esperado de resultados.
1. Límite de organizaciones por consulta. - el límite de organizaciones a tomar de una consulta.
2. Número de consultas - la cantidad de consultas de búsqueda que va a realizar.
Hay 6 consultas que hará el bot para extraer los datos de 2 categorías y 3 ubicaciones.
Por tanto, la cantidad resultante no será superior a 480 organizaciones (límite de 80 * 6 consultas).
Puede eliminar los duplicados en una tarea seleccionando la casilla "Eliminar duplicados".
Sí, puede eliminar duplicados dentro de una tarea utilizando la casilla "Eliminar duplicados" (parámetros avanzados). También puede eliminarlos usted mismo utilizando los campos "google_id" o "place_id" como identificadores únicos de un lugar.
El número exacto de resultados se conocerá solo después de la extracción.
Puede utilizar el "Límite de lugares totales" para limitar la cantidad final de resultados extraídos.
Sí. Puede utilizar el siguiente enlace como consulta: "https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z" donde puede especificar una consulta (inmueble+agencia), las coordenadas (41.4034,2.1718413) y el nivel de zoom (17z). Puede encontrar estos valores al visitar Google Maps.
Como alternativa, puede utilizar el parámetro "coordenadas" si está utilizando la API.
Sí, puede usar El Scraping de correos electrónicos y contactos junto con El Scraping de Google Maps para enriquecer los datos de Google. Para ello, seleccione "El Scraping de correos electrónicos y contactos" en la sección "Enriquecer con otros servicios" en la página El Scraping de Google Maps.
Solo pagará por los resultados que extraiga, independientemente del número de consultas que realice.
No. No hay información pública sobre los correos electrónicos relacionados con el listado en Google Maps. Outscraper utiliza fuentes externas para encontrar esos correos electrónicos.
Sí. Puede utilizar los filtros de los parámetros avanzados con el siguiente operador.
Puede dividir sus tareas por ciudad/estado u otros atributos únicos. Por ejemplo, puede extraer lugares de Nueva York en la primera tarea y lugares de California en la segunda tarea.
Contáctenos
Preguntas, necesidades especiales, problemas ... Siempre feliz de saber de usted.