Outscraper F.A.Q.

一般

スクレイピング、ハーベスト、またはエクストラクトとは、ある公開サイトからすべての情報を取得するプロセスです。手動でのデータのエクスポートを自動化します。

公共データのスクレイピングと抽出は、合衆国憲法修正第1条によって保護されている。第9巡回区控訴裁判所は、一般にアクセス可能なデータの自動スクレイピングは、コンピュータ詐欺および乱用法（CFAA）に違反しないとの判決を下しています。しかし、あなたの管轄区域の法律を遵守するために、あなたの特定の問題については、弁護士の助言を求める必要があります。

Every scraping task is running in the cloud. Your IP address will not be affected by the scraping.

Check out the API Docs or visit the GitHub page to get insider tips on how you can integrate services with your code. Check out the blog.

You can turn off notifications on the profile page.

公開されているデータのみを抽出しており、スクレイパーはデータサイエンティスト、開発者、マーケターのためのブラウザとして機能します。

PIIフリーのデータを保証する仕組みは、どのようなカラムを返すかを選択することである。

No. All scraping activities occur on Outscraper servers, ensuring that your IP address is not utilized for data scraping. It also means your computer can be turned off when extraction tasks are running.

お支払いとサブスクリプション

The invoice will be generated based on the usage of the services during the billing period (30 days). The prices are listed on the page.

Free Tierは、毎月無料で使用できる使用量です。例えば、ある製品では、1ヶ月あたり500リクエストのFree Tierが設定されています。つまり、1ヶ月の間に500リクエスト以下の利用であれば、無料で利用できることになります。

When a subscription is finalized, you will receive an invoice for the usage of the services during the subscription period.

3日以内にお支払いができない場合、システムは自動的に課金を試みます。

  1. Before adding credits, make sure you entered your details on the billing information page (in case you need it in invoices or PO).
  2. Navigate to your profile page.
  3. 追加したいクレジット数を入力します。
  4. クレジットを追加するために使用する支払い方法（クレジットカード、PayPalなど）を選択します。
  5. お支払い方法のボタンをクリックした後、お支払い方法提供会社の手順に従ってください。

Once you have some usage, you can see the upcoming invoice on the Profile Page. Once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice”, or it will be generated automatically within 30 days.

クレジットをアカウントに追加（プリペイドオプション）すると、取引に必要なレシートがEメールで送信されます。

Invoices with the usage of specific services will be generated after each billing period (30 days). Alternatively, once you have the amount due, you can generate the invoice manually by clicking “Generate Invoice” on the Profile Page.

はい。Outscraperは、お客様のアカウント残高$10をチャージし、支払額とともに追加の請求書を発行します。

はい。

タスクは終了し、タスクの使用量がアカウントクレジットより多い場合は、未使用分の請求書を受け取るだけです。

リミットを使って、抽出するデータの量を制限することができます。

  1. Open Outscraper Platform.
  2. に移動します。 課金情報ページ.
  3. 請求書に記載する必要な請求情報を入力します。
  4. 保存」ボタンをクリックします。今後作成される請求書は、入力された情報で作成されます。

Refer a friend and start receiving 35% of your referral payments to your account balance. Your referral will receive a 25% discount on their first payment. Get your referral link now.

API

The limit of queries per second depends on the nature of the requests, the service, and the request parameters (amount of results, number of queries, etc.). The average QPS is about 20 (soft limit). However, Outscraper can scale according to your needs. Please contact the team in case you need a higher QPS.

Yes. API supports batching by sending arrays with up to 25 queries (e.g., query=text1&query=text2&query=text3). It allows multiple queries to be sent in one request and saves on network latency.

Navigate to the API Usage History page to see your latest requests.

にナビゲートします。 プロフィールページ->APIトークンで新しいキーを作成します。

平均応答時間は3～5秒です。ただし、サービス（速度最適化あり・なし）の種類や、1リクエストあたりのクエリー数（バッチオプション）に依存する場合があります。

APIのスループットを上げるためには、いくつかのポイントを押さえる必要があります。

  1. Make sure you are using the latest versions of the API endpoints. For example, prefer using Places API V2  instead of Places API V1. In the case of using SDK the last version of API will be used by default (e.g. google_maps_search()).
  2. バッチングを使用すると、1回のリクエストで最大25個のクエリーを送信できます（例：query=text1&query=text2&query=text3）。これにより、1回のリクエストで複数のクエリを送信でき、ネットワークの待ち時間を短縮できます。
  3. Run requests in parallel. Check out this example.
  4. Use a webhook to fetch results once it’s ready.

タスクによっては、データの抽出に時間がかかることがあります。タイムアウトを処理する方法はいくつかあります。

  1. リトライを使用する。いくつかのスクレイピングリクエストがエラーまたはタイムアウトを返すかもしれないことを予期してください。通常、もう一回試すと問題が解決します。
  2. 非同期リクエストを使用する。非同期リクエストを送信し、推定実行時間後に結果のチェックを開始するのがグッドプラクティスです。チェックアウト こん Pythonの実装を例とする。
  3. Use a webhook to fetch results once it’s ready.

グーグルマップスクレーパー

Googleは時々、検索結果に他のカテゴリーを追加することがあります。例えば、次のような検索をした場合 レストランを見ることができるかもしれません。 バー, コーヒー みせものあるいは ホテルズ.などのマイナーなカテゴリを使用している場合は特に、無関係なデータになってしまう可能性があります。 スイミングプール

Outscraperでは、それらのカテゴリーを排除するための2つのツールを用意しています。

  1. Google Mapsのランドマークカテゴリー

    を使用します。せいごう"チェックボックスを使用します。このパラメータは、選択したカテゴリのみを返すか、Googleが表示するすべてを返すかを指定します。Googleで似たような場所を開いてカテゴリーを確認するなどして、正しいカテゴリーを使用していることを確認してください。

  2. 結果のフィルタリング

    アプリケーションによる結果の絞り込み フィルター をsubtypesカラムに追加します。このようなフィルターは、無関係なデータをすべて排除して、必要なものだけを返すことができます。空の結果を避けるために、フィルタを使用する前にフィールドの値を熟知していることを確認してください。

あらかじめ定義されたロケーションやカテゴリーだけでは不十分な場合があります。カスタムロケーション」や「カスタムカテゴリー」オプションを使って、必要なカテゴリーやロケーションを挿入してください。

Google Mapsでは、1回のクエリ検索で400～500箇所までしか表示されないという制限があります。これは、1つのカテゴリーに多くの企業が存在する場合に問題となることがあります。例えば、以下のようなクエリの場合 "レストラン、ブルックリン".

これを解決するために、場所をサブロケーションに分割することを提案します。例えば、郵便番号を使うことによって：
"restaurants, Brooklyn 11203",
"restaurants, Brooklyn 11211",
"レストラン、ブルックリン 11215",

…

また、サブカテゴリーのあるクエリを使用することもあります。

"アジアのレストラン、ブルックリン",

"イタリアンレストラン、ブルックリン",

"メキシコのレストラン、ブルックリン",

…

クエリーを使用する」スイッチャーをチェックし、クエリーを入力する。

Googleに特定の企業だけを検索させるには、その言葉を引用符「 」で囲みます。 NS ” “ 演算子は通常、ストップワード（Googleが無視する単語）の周辺や、検索キーワードに完全に一致するページのみをGoogleに返させたい場合に使用します。

Extract data... "ボタンをクリックすると、タスクの見積もりとクエリが表示されます。

Google Mapsサイトでの見え方を確認するために、いくつかのクエリをクリックして開くことをお勧めします。

結果の期待数をコントロールするために、守っていただきたいことが2つあります。

1. Organizations per query limit – the limit of organizations to take from one query.

2. Number of queries – the amount of search queries you’re going to make.

2つのカテゴリーと3つのロケーションからデータを抽出するために、ボットが行うクエリーは6つあります。

そのため、結果的に480組織（80×6クエリの上限）を超えることはありません。

重複を削除する」チェックボックスを選択することで、1つのタスクで重複を削除することができます。

はい、「Drop duplicates」チェックボックス（advanced parameters）を使用することで、1つのタスク内に重複をドロップすることができます。また、「google_id」または「place_id」フィールドを場所の一意な識別子として使用することで、自分でドロップすることも可能です。

正確な成果数は抽出後に判明します。

Total places limit "を使用すると、最終的にスクレイピングされる結果の量を制限することができます。

Yes. You can use the following link as a query: “https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z” where you can specify a query (real+estate+agency), the coordinates (41.4034,2.1718413) and zoom level (17z). You can find these values while visiting Google Maps.

Alternatively, you can use the “coordinates” parameter if you are using the API.

Yes. You can use Emails & Contacts Scraper along with Google Maps scraper to enrich the data from Google. In order to do so, select “Emails & Contacts Scraper” in the “Enrich by other services” section on the Google Maps Scraper page.

何回クエリを実行しても、抽出した結果に対してのみ支払いが発生します。

Google Mapsに掲載されたメールに関連する情報は公開されていません。Outscraperでは、外部ソースを使用してそれらの電子メールを検索しています。

詳細パラメーターのフィルターは、以下の演算子で使用できます。

都市や州、その他のユニークな属性でタスクを分割することができます。例えば、1つ目のタスクでニューヨークの場所を抽出し、2つ目のタスクでカリフォルニアの場所を抽出することができます。

はい。 To find businesses without websites, you can use our advanced search filters. Choose the ‘site’ field and set it to ‘is blank’. This will show you businesses that don’t have a website. If you want to see businesses with websites, just set the ‘site’ field to ‘is not blank’ instead.

To learn more about filters, please visit this article: https://outscraper.com/google-maps-data-scraper-filters/

お問い合わせ

質問、特別なニーズ、問題...あなたから聞いていつも幸せです。