Outscraper F.A.Q.
一般
スクレイピング、ハーベスト、またはエクストラクトとは、ある公開サイトからすべての情報を取得するプロセスです。手動でのデータのエクスポートを自動化します。
公共データのスクレイピングと抽出は、合衆国憲法修正第1条によって保護されている。第9巡回区控訴裁判所は、一般にアクセス可能なデータの自動スクレイピングは、コンピュータ詐欺および乱用法(CFAA)に違反しないとの判決を下しています。しかし、あなたの管轄区域の法律を遵守するために、あなたの特定の問題については、弁護士の助言を求める必要があります。
すべてのスクレイピング処理はクラウド上で実行されます。お客様のIPアドレスは、このスクレイピングの影響を受けることはありません。.

公開されているデータのみを抽出しており、スクレイパーはデータサイエンティスト、開発者、マーケターのためのブラウザとして機能します。
PIIフリーのデータを保証する仕組みは、どのようなカラムを返すかを選択することである。
いいえ。すべてのデータ抽出処理はOutscraperのサーバー上で行われるため、お客様のIPアドレスがデータ抽出に使用されることはありません。また、これにより、データ抽出タスクの実行中はお客様のコンピュータの電源を切っておくことも可能です。.
お支払いとサブスクリプション
Free Tierは、毎月無料で使用できる使用量です。例えば、ある製品では、1ヶ月あたり500リクエストのFree Tierが設定されています。つまり、1ヶ月の間に500リクエスト以下の利用であれば、無料で利用できることになります。
サブスクリプションが確定すると、サブスクリプション期間中のサービスの使用に対する請求書が届きます。.
3日以内にお支払いができない場合、システムは自動的に課金を試みます。
- クレジットを追加する前に、請求情報ページに詳細を入力したことを確認してください(請求書やPOで必要になるため)。.
- あなたのプロフィールページに移動する。
- 追加したいクレジット数を入力します。
- クレジットを追加するために使用する支払い方法(クレジットカード、PayPalなど)を選択します。
- お支払い方法のボタンをクリックした後、お支払い方法提供会社の手順に従ってください。
ご利用がある程度進むと、プロフィールページに今後の請求書が表示されます。また、30日以内に自動的に請求書が発行されます。.
クレジットをアカウントに追加(プリペイドオプション)すると、取引に必要なレシートがEメールで送信されます。
請求書は、各請求期間(30日)後に作成されます。また、請求金額が確定したら、プロフィールページの「請求書を作成」をクリックして、手動で請求書を作成することもできます。.
はい。Outscraperは、お客様のアカウント残高$10をチャージし、支払額とともに追加の請求書を発行します。
タスクは終了し、タスクの使用量がアカウントクレジットより多い場合は、未使用分の請求書を受け取るだけです。
リミットを使って、抽出するデータの量を制限することができます。
- Outscraper Platform を開きます。.
- に移動します。 課金情報ページ.
- 請求書に記載する必要な請求情報を入力します。
- 保存」ボタンをクリックします。今後作成される請求書は、入力された情報で作成されます。
お友達を紹介して、特典を受け取り始めましょう 35% 紹介報酬を口座残高に反映します。紹介された方には、 25% 初回支払いの割引。. 今すぐ紹介リンクを入手しましょう.
API
1秒あたりのクエリ(リクエスト)数の上限は、リクエストの性質、サービス、およびリクエストのパラメータ(結果の数、クエリ数など)によって異なります。平均QPSは約20です(ソフトリミット)。ただし、Outscraperはお客様のニーズに応じて拡張可能です。どうぞ チームへの連絡 は、より高いQPSが必要な場合に備えて
はい。APIでは、最大 25 件のクエリを含む配列を送信することで、バッチ処理に対応しています(例:query=text1&query=text2&query=text3)。これにより、1回のリクエストで複数のクエリを送信でき、ネットワークの遅延を軽減できます。.
API利用履歴ページ にアクセスして、最新のリクエストを確認してください。.
にナビゲートします。 プロフィールページ->APIトークンで新しいキーを作成します。
平均応答時間は3~5秒です。ただし、サービス(速度最適化あり・なし)の種類や、1リクエストあたりのクエリー数(バッチオプション)に依存する場合があります。
-
バッチ処理を利用して、1つのリクエストで複数のクエリを送信します(例:
query=text1&query=text2&query=text3). -
使用する
async=true(デフォルト) では、HTTP 接続を維持せずにタスクを送信します。これにより、タイムアウトを防ぐことができ、多数のリクエストを効率的にキューに追加できます。Webhook と組み合わせることで、タスクを一括で送信し、処理が完了次第、自動的に結果を受け取ることができます。. - スループットを最大化するために、リクエストを並列で実行します。詳しくは この例.
- を使用します。 ウェブフック 結果の準備が整い次第、それを取得する。.
グーグルマップスクレーパー
Googleは、検索内容に他のカテゴリを追加することがあります。 たとえば、レストランを検索すると、バー、コーヒー ショップ、あるいはホテルなどが表示される場合があります。 これにより、特にはプールのようなマイナーなカテゴリを使用している場合、関連性のないデータが表示される可能性があります。
Outscraperでは、それらのカテゴリーを排除するための2つのツールを用意しています。

Google Mapsのランドマークカテゴリー
を使用します。せいごう"チェックボックスを使用します。このパラメータは、選択したカテゴリのみを返すか、Googleが表示するすべてを返すかを指定します。Googleで似たような場所を開いてカテゴリーを確認するなどして、正しいカテゴリーを使用していることを確認してください。

結果のフィルタリング
フィルターを「サブタイプ」列に適用して、検索結果を絞り込んでください。このようなフィルターを使用することで、無関係なデータをすべて除外し、必要なデータのみを取得することができます。 検索結果が空にならないように、フィルターを使用する前に、各フィールドの値についてよく理解しておいてください。
あらかじめ定義されたロケーションやカテゴリーだけでは不十分な場合があります。カスタムロケーション」や「カスタムカテゴリー」オプションを使って、必要なカテゴリーやロケーションを挿入してください。

Google Mapsでは、1回のクエリ検索で400~500箇所までしか表示されないという制限があります。これは、1つのカテゴリーに多くの企業が存在する場合に問題となることがあります。例えば、以下のようなクエリの場合 "レストラン、ブルックリン".
これを解決するために、場所をサブロケーションに分割することを提案します。例えば、郵便番号を使うことによって:
"restaurants, Brooklyn 11203",
"restaurants, Brooklyn 11211",
"レストラン、ブルックリン 11215",
…
また、サブカテゴリーのあるクエリを使用することもあります。
…
クエリーを使用する」スイッチャーをチェックし、クエリーを入力する。

Googleに特定の企業だけを検索させるには、その言葉を引用符「 」で囲みます。 NS ” “ 演算子は通常、ストップワード(Googleが無視する単語)の周辺や、検索キーワードに完全に一致するページのみをGoogleに返させたい場合に使用します。
Extract data... "ボタンをクリックすると、タスクの見積もりとクエリが表示されます。

Google Mapsサイトでの見え方を確認するために、いくつかのクエリをクリックして開くことをお勧めします。

結果の期待数をコントロールするために、守っていただきたいことが2つあります。
1. クエリごとの組織数の上限 – 1回のクエリで取得できる組織数の上限です。

2. クエリ数 – 実行する検索クエリの数。.

2つのカテゴリーと3つのロケーションからデータを抽出するために、ボットが行うクエリーは6つあります。

そのため、結果的に480組織(80×6クエリの上限)を超えることはありません。
重複を削除する」チェックボックスを選択することで、1つのタスクで重複を削除することができます。
はい、「Drop duplicates」チェックボックス(advanced parameters)を使用することで、1つのタスク内に重複をドロップすることができます。また、「google_id」または「place_id」フィールドを場所の一意な識別子として使用することで、自分でドロップすることも可能です。
正確な成果数は抽出後に判明します。
Total places limit "を使用すると、最終的にスクレイピングされる結果の量を制限することができます。
はい。以下のリンクをクエリとして使用できます:「https://www.google.com/maps/search/real+estate+agency/@41.4034,2.1718413,17z」をクエリとして使用できます。ここでは、クエリ(real+estate+agency)、座標(41.4034,2.1718413)、ズームレベル(17z)を指定できます。 これらの値は、Google マップにアクセスして確認できます。.
あるいは、APIを使用している場合は、「coordinates」パラメータを使用することもできます。.
はい。Emails & Contacts ScraperとGoogle Mapsスクレイパーを併用することで、Googleからのデータをリッチ化することができます。これを行うには、Google Maps Scraper ページの「他のサービスによるリッチ化」セクションで「Eメール&連絡先スクレイパー」を選択します。
.

何回クエリを実行しても、抽出した結果に対してのみ支払いが発生します。
Google Mapsに掲載されたメールに関連する情報は公開されていません。Outscraperでは、外部ソースを使用してそれらの電子メールを検索しています。
詳細パラメーターのフィルターは、以下の演算子で使用できます。

都市や州、その他のユニークな属性でタスクを分割することができます。例えば、1つ目のタスクでニューヨークの場所を抽出し、2つ目のタスクでカリフォルニアの場所を抽出することができます。
はい。 特定の条件に合う企業を見つけるにはウェブサイトを持たない企業を探すには、当社の詳細検索フィルターをご利用ください。「サイト」フィールドを選択し、「空白」に設定してください。これにより、ウェブサイトを持たない企業が表示されます。ウェブサイトを持つ企業を表示したい場合は、代わりに「サイト」フィールドを「空白ではない」に設定してください。.
フィルターについて詳しく知りたい方は、こちらの記事をご覧ください: https://outscraper.com/google-maps-data-scraper-filters/

お問い合わせ
Outscraper製品のサポートが必要ですか?私たちはあなたが必要とするサポートを提供します