Outscraper 자주 묻는 질문

일반적인

스크래핑, 수집 또는 추출은 일부 공개 사이트에서 모든 정보를 가져오는 프로세스입니다. 데이터 수동 내보내기를 자동화합니다.

공개 데이터의 스크래핑 및 추출은 미국 헌법 제1차 수정안에 의해 보호받습니다. 제9연방항소법원은 일반에 공개된 데이터에 대한 자동화된 스크래핑이 컴퓨터 사기 및 남용 방지법(CFAA)을 위반하지 않는다고 판결했습니다. 다만, 해당 관할권의 법률을 준수하기 위해서는 구체적인 사안에 대해 변호사의 자문을 구해야 합니다.

모든 스크래핑 작업은 클라우드에서 실행됩니다. 사용자의 IP 주소는 스크래핑 작업의 영향을 받지 않습니다.

API 문서를 확인하거나, GitHub 페이지를 방문하여 서비스를 코드에 통합하는 방법에 대한 유용한 팁을 확인해 보세요. 블로그도 확인해 보세요.

프로필 페이지에서 알림을 끌 수 있습니다.

공개적으로 사용 가능한 데이터만 추출하며, 스크레이퍼는 데이터 과학자, 개발자, 마케터를 위한 브라우저로 작동합니다.

PII가 없는 데이터를 보장하는 메커니즘은 반환할 열을 선택하는 것입니다.

아닙니다. 모든 데이터 추출 작업은 Outscraper 서버에서 수행되므로, 사용자의 IP 주소가 데이터 추출에 사용되지 않습니다. 또한, 데이터 추출 작업이 실행 중일 때 사용자의 컴퓨터 전원을 끄셔도 됩니다.

결제 및 구독

청구서는 청구 기간(30일) 동안 서비스의 이용 내역을 기준으로 발행됩니다. 요금은 해당 페이지에 명시되어 있습니다.

프리 티어는 매월 무료로 사용할 수 있는 사용량입니다. 예를 들어, 일부 제품 X에는 매월 500개의 요청이 있는 프리 티어가 있습니다. 즉, 한 달 동안 요청이 500건 미만이면 제품을 무료로 사용할 수 있습니다.

구독이 완료되면, 구독 기간 동안 서비스 이용에 대한 청구서를 받게 됩니다.

만약 3일 이내에 결제를 완료하지 못하실 경우, 시스템에서 자동으로 결제를 시도합니다.

  1. 크레딧을 추가하기 전에, 청구 정보 페이지에 귀하의 세부 정보를 입력했는지 확인하십시오(청구서나 발주서에 필요할 경우를 대비하여).
  2. 프로필 페이지로 이동하세요.
  3. 추가하고자 하는 학점 수를 입력하세요.
  4. 크레딧을 충전하려면 사용하고자 하는 결제 수단(신용카드, PayPal 등)을 선택하세요.
  5. 결제 수단이 표시된 버튼을 클릭한 후, 해당 결제 서비스 제공업체의 안내에 따라 진행해 주세요.

일정 기간 서비스를 이용하시면, 프로필 페이지에서 다음 청구서를 확인하실 수 있습니다. 청구 금액이 확정되면 “청구서 생성”을 클릭하여 수동으로 청구서를 생성할 수 있으며, 그렇지 않을 경우 30일 이내에 자동으로 생성됩니다.

계정에 크레딧을 충전하면(선불 옵션), 해당 거래에 대한 영수증을 이메일로 받게 됩니다.

특정 서비스 이용 내역이 포함된 청구서는 각 청구 주기(30일)가 끝날 때마다 발행됩니다. 또는, 청구 금액이 확정되면 프로필 페이지에서 "청구서 생성"을 클릭하여 수동으로 청구서를 생성할 수도 있습니다.

네. Outscraper는 귀하의 계정 잔액에서 $10을 차감하고, 미납 금액에 대한 별도의 청구서를 발행할 것입니다.

예.

아닙니다. 작업은 완료되며, 작업 사용량이 귀하의 계정 크레딧을 초과할 경우 미결제 사용량에 대한 청구서를 받게 됩니다.

한도 설정을 통해 추출되는 데이터의 양을 제한할 수 있습니다.

  1. Outscraper 플랫폼을 열어보세요.
  2. 다음으로 이동하세요: 결제 정보 페이지.
  3. 청구서에 표시되기를 원하는 필수 청구 정보를 입력하세요.
  4. ‘저장’ 버튼을 클릭하세요. 앞으로 발행될 모든 청구서는 입력하신 정보를 바탕으로 생성됩니다.

친구를 추천하고 혜택을 받아보세요 35% 귀하의 추천 수수료를 귀하의 계좌 잔액에 반영합니다. 귀하가 추천한 분은 25% 첫 번째 결제 시 할인 혜택을 제공합니다. 지금 바로 추천 링크를 받아보세요.

API

초당 쿼리(요청) 수 제한은 요청의 성격, 서비스, 요청 매개변수(결과 수, 쿼리 수 등)에 따라 달라집니다. 평균 QPS는 약 20입니다(유연한 제한). 하지만 Outscraper는 사용자의 필요에 따라 확장할 수 있습니다. 다음을 참고해 주십시오. 팀에 문의하기 더 높은 QPS가 필요할 경우를 대비해서.

네. API는 최대 25개의 쿼리가 포함된 배열을 전송하여 일괄 처리를 지원합니다(예: query=text1&query=text2&query=text3). 이를 통해 하나의 요청으로 여러 쿼리를 전송할 수 있으며, 네트워크 지연 시간을 줄일 수 있습니다.

API 사용 내역 페이지로 이동하여 최근 요청 내역을 확인하세요.

로 이동합니다. 프로필 페이지->새 키를 생성하기 위한 API 토큰.

평균 응답 시간은 3~5초입니다. 하지만 이는 서비스 유형(속도 최적화 여부)과 요청당 쿼리 수(배치 옵션)에 따라 달라질 수 있습니다.

API 성능과 처리량을 향상시키려면 다음 모범 사례를 따르십시오.
  1. 배치 처리를 사용하여 하나의 요청으로 여러 쿼리를 전송합니다(예: query=text1&query=text2&query=text3).
  2. 사용하다 async=true (기본값)을 사용하면 HTTP 연결을 유지하지 않고도 작업을 제출할 수 있습니다. 이를 통해 타임아웃을 방지하고 많은 요청을 효율적으로 대기열에 넣을 수 있습니다. 웹훅과 함께 사용하면 작업을 일괄적으로 제출하고, 결과가 준비되는 즉시 자동으로 결과를 수신할 수 있습니다.
  3. 처리량을 극대화하기 위해 요청을 병렬로 실행하세요. 다음을 확인해 보세요. 이 예시.
  4. 다음과 같이 사용하십시오. 웹훅 결과가 준비되면 이를 가져오기 위해.

일부 작업의 경우 데이터를 추출하는 데 시간이 걸릴 수 있습니다. 타임아웃을 처리하는 방법에는 몇 가지가 있습니다.

  1. 재시도 기능을 활용하세요. 스크래핑 요청 중 일부는 오류가 발생하거나 타임아웃될 수 있음을 염두에 두세요. 대개 한 번 더 시도하면 문제가 해결됩니다.
  2. 비동기 요청을 사용하세요. 비동기 요청을 보내고 예상 실행 시간이 지난 후에 결과를 확인하기 시작하는 것이 좋은 방법입니다. 예시로 이 Python 구현을 확인해 보세요.
  3. 결과가 준비되면 웹훅을 사용하여 결과를 가져오세요.

Google 지도 스크레이퍼

때때로 Google은 검색어에 다른 카테고리를 추가하기도 합니다. 예를 들어, 레스토랑을 검색하면 바, 커피 숍 또는 심지어 호텔까지 표시될 수 있습니다. 이는 특히 수영장과 같은 세부 카테고리를 사용할 때 관련성이 없는 결과가 표시될 수 있습니다.

Outscraper는 이러한 범주를 제거하는 데 사용할 수 있는 두 가지 도구를 제공합니다.

  1. 구글 지도의 랜드마크 카테고리

    “정확한 일치” 확인란. 이 매개변수는 사용자가 선택한 카테고리만 반환할지, 아니면 Google에 표시되는 모든 항목을 반환할지 여부를 지정합니다. Google에서 유사한 장소를 열어 카테고리를 확인하여 올바른 카테고리를 사용하고 있는지 확인하세요.

  2. 결과 필터링하기

    필터를 '하위 유형' 열에 적용하여 결과를 필터링하세요. 이러한 필터를 사용하면 관련 없는 데이터를 모두 제거하고 필요한 데이터만 얻을 수 있습니다. 결과가 비어 나오는 것을 방지하려면 필터를 사용하기 전에 필드의 값을 숙지하시기 바랍니다.

사전 정의된 위치 또는/및 범주가 충분하지 않은 경우가 있습니다. "사용자 지정 위치" 또는/및 "사용자 지정 범주" 옵션을 사용하여 필요한 범주 또는/및 위치를 삽입합니다.

Google 지도에는 하나의 쿼리 검색당 최대 400-500개의 장소만 표시하는 제한이 있습니다. 이는 한 범주에 더 많은 회사가 있는 경우 문제가 될 수 있습니다. 예를 들어 쿼리의 경우 “레스토랑, 브루클린”.

이를 극복하기 위해 위치를 하위 위치로 분할하는 것이 좋습니다. 예를 들어 우편 번호를 사용하여 다음을 수행합니다.
"레스토랑, 브루클린 11203",
"레스토랑, 브루클린 11211",
"레스토랑, 브루클린 11215",

…

또는 하위 카테고리가 있는 쿼리 사용:

“아시안 레스토랑, 브루클린”,

“이탈리아 레스토랑, 브루클린”,

“멕시코 레스토랑, 브루클린”,

…

“쿼리 사용” 토글 버튼을 선택하고 쿼리를 입력하세요.

Google에서 특정 회사만 검색하도록 하려면 해당 용어를 따옴표 " "로 묶습니다. NS ” “ 연산자는 일반적으로 중지 단어(Google에서 무시할 단어) 주위에 사용되거나 검색어와 정확히 일치하는 페이지만 Google에서 반환하도록 할 때 사용됩니다.

"데이터 추출..." 버튼을 클릭하면 작업 견적과 쿼리가 표시됩니다.

Google 지도 사이트에서 어떻게 보이는지 확인하려면 몇 가지 쿼리를 클릭하고 여는 것이 좋습니다.

예상 결과 수를 제어하기 위해 따라야 할 두 가지 사항이 있습니다.

1. 쿼리당 조직 수 제한 – 한 번의 쿼리로 가져올 수 있는 조직의 최대 수입니다.

2. 검색 횟수 – 수행할 검색 횟수입니다.

봇이 2개의 카테고리와 3개의 위치에서 데이터를 추출하기 위해 수행할 6개의 쿼리가 있습니다.

따라서 결과 양은 480개 조직(80 * 6 쿼리 제한)을 넘지 않습니다.

“중복 항목 제거” 확인란을 선택하면 한 번의 작업으로 중복 항목을 제거할 수 있습니다.

네, “중복 항목 제거” 확인란(고급 매개변수)을 사용하여 하나의 작업 내에서 중복 항목을 제거할 수 있습니다. 또는 “google_id”나 “place_id” 필드를 장소의 고유 식별자로 사용하여 직접 중복 항목을 제거할 수도 있습니다.

정확한 결과 수는 추출 후에만 알 수 있습니다.

"총 자리 제한"을 사용하여 스크랩한 결과의 최종 양을 제한할 수 있습니다.

네. 다음 링크를 쿼리로 사용할 수 있습니다: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z”를 쿼리로 사용할 수 있습니다. 여기에는 쿼리(real+estate+agency), 좌표(41.4034,2.1718413) 및 확대/축소 수준(17z)을 지정할 수 있습니다. 이러한 값들은 Google 지도를 방문하여 확인할 수 있습니다.

또는 API를 사용하는 경우 "coordinates" 매개변수를 사용할 수도 있습니다.

예. 이메일 및 연락처 스크레이퍼를 Google 지도 스크레이퍼와 함께 사용하여 Google의 데이터를 보강할 수 있습니다. 이렇게 하려면 Google 지도 스크래퍼 페이지의 '다른 서비스로 보강하기' 섹션에서 '이메일 및 연락처 스크래퍼'를 선택하세요.

쿼리를 몇 번 실행하든 상관없이, 추출한 결과에 대해서만 비용을 지불하게 됩니다.

아닙니다. 구글 지도 상의 목록과 관련된 이메일 주소에 대한 공개 정보는 없습니다. Outscraper는 외부 출처를 통해 해당 이메일 주소를 찾아냅니다.

예. 다음 연산자를 사용하여 고급 매개변수의 필터를 사용할 수 있습니다.

작업은 도시/주 또는 그 밖의 고유한 속성별로 나눌 수 있습니다. 예를 들어, 첫 번째 작업에서는 뉴욕의 장소를, 두 번째 작업에서는 캘리포니아의 장소를 추출할 수 있습니다.

예. ~를 갖춘 업체를 찾으려면웹사이트가 없는 업체를 찾으려면, 당사의 고급 검색 필터를 이용하시면 됩니다. ‘사이트’ 필드를 선택하고 ‘비어 있음’으로 설정하세요. 그러면 웹사이트가 없는 업체가 표시됩니다. 웹사이트가 있는 업체를 보려면, ’사이트‘ 필드를 ’비어 있지 않음’으로 설정하면 됩니다.

필터에 대해 더 자세히 알아보시려면 다음 문서를 참조해 주세요: https://outscraper.com/google-maps-data-scraper-filters/

문의하기

Outscraper 제품에 대한 도움이 필요하십니까? 필요한 도움을 드리겠습니다.