Outscraper 자주 묻는 질문

일반적인

스크래핑, 수집 또는 추출은 일부 공개 사이트에서 모든 정보를 가져오는 프로세스입니다. 데이터 수동 내보내기를 자동화합니다.
공개 데이터의 스크래핑 및 추출은 미국 수정 헌법 1조에 의해 보호됩니다. 제9순회 항소법원은 공개적으로 액세스 가능한 데이터의 자동 스크래핑이 컴퓨터 사기 및 남용에 관한 법률(CFAA)을 위반하지 않는다고 판결했습니다. 그러나 귀하는 귀하의 관할권에 있는 법률을 준수하기 위해 귀하의 특정 문제에 대해 변호사의 자문을 구해야 합니다.
점검 API 문서 또는 방문 깃허브 페이지에서 서비스를 코드와 통합하는 방법에 대해 알아보세요. 체크 아웃 블로그.
You can turn off notifications on the 프로필 페이지.
공개적으로 사용 가능한 데이터만 추출하며, 스크레이퍼는 데이터 과학자, 개발자, 마케터를 위한 브라우저로 작동합니다. PII가 없는 데이터를 보장하는 메커니즘은 반환할 열을 선택하는 것입니다.

Payments & Subscriptions

인보이스는 사용량에 따라 생성됩니다. 서비스 시 billing 기간(30일). 가격은 에 기재되어 있습니다. 그 페이지.
프리 티어는 매월 무료로 사용할 수 있는 사용량입니다. 예를 들어, 일부 제품 X에는 매월 500개의 요청이 있는 프리 티어가 있습니다. 즉, 한 달 동안 요청이 500건 미만이면 제품을 무료로 사용할 수 있습니다.
구독이 완료되면 사용에 대한 청구서를 받게 됩니다. 서비스 구독 기간 동안. 3일 이내에 결제가 되지 않으면 시스템에서 자동으로 청구를 시도합니다.
Once you have some usage you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” or it will be generated automatically within 30 days.
Once you add credits to your account (prepaid option) you will receive the receipt for the transaction by email. Invoices with the usages of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

Yes. Outscraper will charge your account balance for $10 and issue an additional invoice with the amount due.

Yes.

No. The task will be finished and if the task usage will be greater than your account credits you simply will receive an invoice with the outstanding usage.

You can use limits to limit the amount of extracted data.

  1. Open Outscraper 플랫폼.
  2. 로 이동합니다. Billing Information page.
  3. Enter the necessary billing information you want to see in your invoices.
  4. Click the Save button. All your future invoices will be created with the information you have entered.

API

The limit of queries per second depends on the nature of the requests, service, and request parameters (amount of results, amount of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.

Navigate to the API Usage History page to see your latest requests.

로 이동합니다. 프로필 페이지->API token to create a new key.

The average response time is 3-5 seconds. But it might depend on the service (speed optimized or no) type and the number of queries per request (batch option).

There are a few key points you should follow to increase the throughput of the API.

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. Use batching to send up to 25 queries per one request (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and save on network latency time.
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

Some tasks can take time to extract the data. There are a few ways you can handle timeouts.

  1. Use retries. Expect that some number of scraping requests might return an error or timeout. Usually, trying one more time solves the issue.
  2. Use async requests. A good practice is to send async requests and start checking the results after the estimated execution time. Check out this Python implementation as an example.
  3. Use a webhook to fetch results once it’s ready.

Google 지도 스크레이퍼

Sometimes Google adds other categories to your searches. For example, when you search for restaurants you might see bars, coffee shops, or even hotels. This might lead to irrelevant data, especially when you are using some minor categories like swimming pools.

Outscraper는 이러한 범주를 제거하는 데 사용할 수 있는 두 가지 도구를 제공합니다.

  1. The landmark category on Google Maps

    Use the “exact match” checkbox. The parameter specifies whether to return only the categories you selected or everything that Google shows. Make sure you are using the right categories by opening similar places on google and checking the category.

  2. Filtering the results

    Filter results by applying Filters to the subtypes column. Such filters can eliminate all the irrelevant data and return you only what you need. To avoid empty results, make sure you are familiar with the values of the fields before using the Filters.

사전 정의된 위치 또는/및 범주가 충분하지 않은 경우가 있습니다. "사용자 지정 위치" 또는/및 "사용자 지정 범주" 옵션을 사용하여 필요한 범주 또는/및 위치를 삽입합니다.
Google 지도에는 하나의 쿼리 검색당 최대 400-500개의 장소만 표시하는 제한이 있습니다. 이는 한 범주에 더 많은 회사가 있는 경우 문제가 될 수 있습니다. 예를 들어 쿼리의 경우 “레스토랑, 브루클린”. To overcome this we suggest splitting the location into sub-locations. For example, by using postal codes: "레스토랑, 브루클린 11203", "레스토랑, 브루클린 11211", "레스토랑, 브루클린 11215", … Or using queries with sub-categories: “아시안 레스토랑, 브루클린”, “이탈리아 레스토랑, 브루클린”, “멕시코 레스토랑, 브루클린”, …
"쿼리 사용" 스위처를 선택하고 쿼리를 입력합니다.
Google에서 특정 회사만 검색하도록 하려면 해당 용어를 따옴표 " "로 묶습니다. NS ” “ 연산자는 일반적으로 중지 단어(Google에서 무시할 단어) 주위에 사용되거나 검색어와 정확히 일치하는 페이지만 Google에서 반환하도록 할 때 사용됩니다.
"데이터 추출..." 버튼을 클릭하면 작업 견적과 쿼리가 표시됩니다. Google 지도 사이트에서 어떻게 보이는지 확인하려면 몇 가지 쿼리를 클릭하고 여는 것이 좋습니다.
There are two things you should follow to control the expected number of results. 1. 쿼리당 조직 수 제한 – 하나의 쿼리에서 취할 수 있는 조직의 한계. 2. 쿼리 수 – 만들려는 검색 쿼리의 양. 봇이 2개의 카테고리와 3개의 위치에서 데이터를 추출하기 위해 수행할 6개의 쿼리가 있습니다. 따라서 결과 양은 480개 조직(80 * 6 쿼리 제한)을 넘지 않습니다.

You can remove duplicates in one task by selecting the “Drop duplicates” checkbox.

Yes, you can drop duplicates inside one task by using the “Drop duplicates” checkbox (advanced parameters). Alternatively, you can drop it by yourself by using “google_id” or “place_id” fields as unique identifiers for a place.

The exact number of results will be known only after the extraction. You can use “Total places limit” to limit the final amount of results scraped.
Yes. You can use the following link as a query “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps. Alternatively, you can use the “coordinates” parameter if you are using API.
예. 다음을 사용할 수 있습니다. 이메일 및 연락처 스크레이퍼 를 Google 지도 스크레이퍼와 함께 사용하여 Google의 데이터를 보강할 수 있습니다. 이렇게 하려면 '다른 서비스로 보강' 섹션에서 '이메일 및 연락처 스크레이퍼'를 선택합니다. Google 지도 스크레이퍼 페이지.
You will pay only for the results you extracted no matter how many queries.

No. There is no public information about emails connected with the listing on Google Maps. Outscraper uses external sources to find those emails.

예. 다음 연산자를 사용하여 고급 매개변수의 필터를 사용할 수 있습니다.

You can split your tasks by city/state or by some other unique attributes. For example, you can extract places from New York in the first task, and extract the places from California in the second task.

문의하기

질문, 특별한 요구 사항, 문제... 항상 귀하의 의견을 기쁘게 생각합니다.