目次を見る
グーグルマップデータスクレーパー
Google Maps Data Scraperは、Outscraperのスクレイピングサービスの1つです。Outscraperでは、Google Mapsから公開データを制限なく簡単に抽出することができます。
https://outscraper.com/google-maps-scraper/
Google Maps Data Scraperを最大限に活用するためには、パラメータやフィルタを正確に設定する必要があります。Outscraperでは、データスクレイピングを次のレベルに引き上げるためのエンリッチメントサービスも提供しています。スクレイピングタスクを作成する前に、これらすべての設定について、この「入門」ガイドを読むことをお勧めします。
基本パラメータ
基本パラメータは、ターゲットとなる企業や場所を正しくスクレイピングするために最も重要な設定です。正確なパラメータを設定することで、結果ファイルに含まれる無関係なレコードや重複したレコードを減らすことができます。
基本パラメーターのカテゴリーに加え、ロケーション、リミット、重複オプションを明確に設定する必要があります。
カテゴリ
- カテゴリーを選択する。 グーグルマップは 5,000以上のカテゴリー.これらのカテゴリは、ダッシュボード上で既成のリストとして利用できます。
- リストから任意のカテゴリーを直接選択するか、または "カスタムカテゴリー "オプション。
- カスタムカテゴリーです。 定義済みのカテゴリー以外のカテゴリーを指定できるようにします。英語以外の言語では、非常に異なるカテゴリーが設定されている場合があります。カスタムカテゴリー」を使用すると、これらの言語と異なるカテゴリーで検索することができます。
また、名前の検索にも使用されます。例えば、「マクドナルド」。カテゴリーではありませんが、名前で検索すると結果が表示されます。
- Exact Match Option（完全一致オプション）。 Googleマップでは、検索結果に他のカテゴリーを追加する場合があります。
例えば、以下のような場合です。 "タイ料理店 "で検索 をどの地域でも表示します。検索した地域に「タイ料理店」が少なければ、「日本料理店」「ベトナム料理店」も結果に表示されます。完全一致」オプションを使用しない場合、これらのレストランはすべてスクレイピング結果ファイルから検出されます。完全一致」オプションをご希望の場合、Outscraperは他のレストランを排除し、「タイレストラン」のみをリストに追加します。
EN言語の場合、および使用時のみ動作します。 既成のカテゴリーリスト.
場所
- ロケーションを選択する。 Google Mapsと同様に、タスクを作成しながらすべての国、都市、地域を選択することができます。選択しやすいように、既成のリストが用意されています。欲しい場所がリストにない場合は、「カスタムロケーション」オプションを使用することができます。
- カスタムロケーション このオプションでは、場所を "郵便番号＋都市＋国" として定義することができます。また、"米国カリフォルニア州ロサンゼルス近郊 "とすることも可能です。
- 郵便番号の利用 郵便番号は、ディープスキャンやスクレイピングに使うべきものです。例を挙げると、ニューヨークのブルックリンには何百ものレストランがあります。残念ながら、1つの検索クエリでこれらすべてのレストランがGoogle Mapsの検索結果に表示されるわけではありません。
Googleマップでは、1回の検索結果で最大500件のレストランが表示されます。
もちろん、OutscraperはGoogle Mapsが提供する検索結果もスクレイピングしているので、1回のクエリでこれらすべてのレストランが結果ファイルに表示されるわけではありません。
郵便番号はこのシナリオのために使用されます。エリアを詳細に検索し、スクレイピングすることができます。郵便番号と都市の組み合わせで、複数の検索クエリを生成します。例えば
"レストラン、11201、NY、US"
"レストラン、11202, NY, US"
"レストラン、11203, NY, US"このオプションを使用すると、エリア内のすべての場所をスキップせずにスクレイピングすることができます。
ぜひご一読ください。 Googleマップから人口密度の高い地域やカテゴリーをスクレイピングする方法とは？
*本オプションを使用する際は、必ず「重複を削除する」オプションを使用してください。
限度額とオプション
- トータルリザルトリミット。 このオプションはタスク結果ファイル内の結果の総数を決定する。タスクの潜在的なボリュームが大きい場合でも、上限を100に設定すると、100箇所に達した時点でスクレイピング処理が停止します。
limitを0に設定すると、タスクの終了までスクレイピングが継続されます。0を指定すると、結果ファイルにはリミットは表示されません。
- Drop Duplicates（重複を排除する）。 Google Mapsでは、同じ検索結果でも異なるページに同じ場所/事業所が表示されることがあります。この場合、OutscraperはGoogle Mapsで表示されるデータを抽出するため、結果ファイルに重複したレコードが発生する可能性があります。
2つ目のケースでは、Googleマップは、異なるが関連するカテゴリを持つ異なる検索クエリに対して同じ結果を表示することができる。バー、ニューヨーク」の検索と「レストラン、ニューヨーク」の検索では、同じ結果が表示されることがあります。タスクで2つ以上のカテゴリーが選択されている場合、関連するカテゴリーで重複した結果が表示される可能性が高くなります。
このような事態を避けるために、「重複を削除する」オプションを適用する必要があります。重複を削除する」が選択されていない場合、重複した結果は結果ファイルに記載され、それらは請求されることになります。
- メールがなければ無視する。 この無視オプションは、「Emails & Contacts Scraper」サービスが追加された場合のみ適用されます。
結果ファイルから、少なくとも1つの電子メールがない場所を削除します。Eメールがある場所/企業だけがリストアップされます。メールマーケティング用にGoogle Mapsからメールを抽出したい方に最適です。
* 無視された記録には課金されません（メールがなくても）。
エンリッチメント・サービス
Google Maps Data Scraperサービスと連携するエンリッチメントサービスは、4つあります。これらのサービスは、ドロップダウン・リストから選択することができます。各エンリッチメントサービスは、異なる機能と価格体系を持っています。
スクレイピングタスクにエンリッチメントサービスを追加した場合、エンリッチメントサービスによって抽出されたすべてのデータは同じ結果ファイルになります。
- 電子メール＆連絡先スクレイパー。 Google Mapsを通じてメールや連絡先を抽出することができるエンリッチメントサービスです。
Google Maps Data Scraperは、まず場所/企業の一般的なデータをスクレイピングします。このデータには、ウェブサイト情報も含まれます。Emails & Contacts Scraperサービスは、このウェブサイト情報を使用して、これらのウェブサイトから電子メールアドレス、連絡先、およびソーシャルメディアアカウントを抽出します。
* タスクにこのエンリッチメントサービスを追加すると、"Ignore without emails" と "Drop email duplicates" のオプションが有効になります。
"Ignore without emails "オプションは、電子メールアドレスを持つ企業のみを結果ファイルに入れることを保証します。
"Drop email duplicates "オプションは、同じメールアドレスの企業を結果ファイルから削除するために使用します。複数の支店を持つビジネスは、ウェブサイトが同じなので、支店から抽出されたメールアドレスが同じになることがあります。このオプションを使用すると、1レコードだけが残り、他の重複は削除されます。したがって、この方法できれいな結果ファイルが得られます。
メールや連絡先の抽出については、こちらをご覧ください。 Google Mapsからメールを抽出する方法とは？
メール＆コンタクトスクレイパー」は、様々なソースから連絡先やメールを探し出すことができるサービスです。 Googleプレイスの連絡先とEメールを検索する
ビデオチュートリアルです。 あらゆるウェブサイトから電子メール、電話番号、連絡先、ソーシャルメディアのリンクをスクレイピングする方法とは？
- Emails Validator。 「Emails Validator」は、「Emails & Contacts Scraper」サービスから抽出された電子メールを検証するために使用されるエンリッチメントサービスです。メールフォーマットの検証、ブラックリストへの登録の有無、DNSレコードのチェック、SMTPリクエストを実行してサーバーにメールが存在するかどうかを確認します。
* Emails Validator」エンリッチメントサービスを機能させるためには、「Emails & Contacts Scraper」サービスと一緒にタスクに追加する必要があります。
- フォーン・エンリッチャー Google Mapsから抽出した電話番号の詳細を取得するために使用されます。キャリアの種類や名称を表示し、電話番号の検証を行います。
- 米国企業データエンリッチャ。 従業員数、売上高、NAICSコードなど、米国内の企業に関するより多くの情報を収集することができるエンリッチメントサービスです。
* このサービスを利用するためには、設置場所が米国である必要があります。
詳しくは、こちらをお読みください： Google Maps Scraperのエンハンスメントサービス
高度なパラメータ
Outscraperの最も価値のある機能の1つは、高度なフィルタリングです。電話、ウェブサイト、サブタイプ、ビジネスステータスのフィルタリングはその一部です。多くの異なるフィルタリングの可能性で、不要なデータを排除するのは簡単です。
- フィルター フィルタを使用する主な目的は、無関係な結果を無視することです。各フィルターは、結果ファイルに場所/ビジネスをリストアップするか、無視するかを決定します。
フィルターは、様々な用途に使用することができます。 使用例.ウェブサイトを持っていない企業を見つける、検証されていない企業を見つける、悪い評価を受けた企業を見つける。
詳しくは、こちらをお読みください： Google Mapsデータスクレイパーフィルタ
ビデオチュートリアルです。 Google Mapsのデータスクレイパーフィルタの使い方と、スクレイピングのレベルを上げる方法とは？
- 言語 Googleマップは、使用する言語によって表示結果が異なる場合があります。そのため、Outscraperではシミュレーションを行うことができます。異なる言語を選択してタスクを作成することができます。
- 1クエリごとの検索場所。 このパラメータは、1つのクエリ検索から取得する組織の制限を指定します。特定の場所（例えば「Central Park, NY, USA」）を検索するためにクエリーを使用する場合、おそらく最初の場所を取得するために「1」を使用したいでしょう（Googleが他のものを見つける場合に備えて）。しかし、「米国ニューヨーク州のレストラン」を検索する場合は、検索結果からすべての場所を抽出し、「50」を使用したいと思うかもしれません。
- 返すべき列。 結果ファイルには、デフォルトですべてのデータカラムが含まれています。一部のカラムだけが必要な場合は、ここのリストから個別に選択することができます。
その他のパラメータ
Google Maps Data Scraperの結果ファイルは、様々なファイル形式でダウンロードすることが可能です。タスクを送信する前に「その他のパラメータ」で設定することができます。
- リザルトエクステンション。 Outscraperでは、タスクの結果ファイルをCSV/XLSX/JSON/Parquet形式でダウンロードすることができます。ただし、タスクを開始する前に希望のファイル形式を選択する必要があります。終了後のフォーマット変更はできません。
- タスクのタグ “タスク" ページには、終了したタスクや進行中のタスクがたくさん含まれていることがあります。その中から探している特定のタスクを見つけるのは難しいことです。そこで、タスクにタグを付けておくと便利です。
タスクの開始と結果
すべてのパラメータ、フィルター、エンリッチメントサービスをもう一度確認した後、「Get Data」ボタンを押すことでスクレイピングタスクを開始でき、タスクを送信する前にポップアップが表示されます。
問い合わせ内容が正しければ、「確認」ボタンを押すことで処理を開始することができます。
でプロセスの状況を把握することができます。 タスク のページをご覧ください。タスクが終了すると、そこから結果ファイルをダウンロードすることができます。
Outscraper Google Maps Data Scraper サービスは、Google Mapsから公開されているすべてのデータを抽出します。結果ファイルには 45種類以上のデータ.レビュー数、評価も掲載。
ただし、Google Mapsのレビューテキストをスクレイピングしたい場合は、次のようにします。 グーグルマップレビュースクレーパー サービスを提供します。Google Maps Data Scraperはレビュー数を指定するだけで、レビューの文章を一覧表示することはできません。しかし、弊社の別サービスを利用することで可能になります。詳しくはこちら。 Googleマップのレビューをスクレイピングするには？
また、Outscraper Google Maps Data Scraper サービスについては、ビデオチュートリアルをご覧いただくことができます。
Outscraperに関する動画はこちらをご覧ください。 YouTubeチャンネル.
よくある質問
最も頻繁な質問と回答
はい、できます。タスクに「Emails & Contacts Scraper」エンリッチメントサービスを追加してから実行してください。
メールアドレスが必要な場合は、「メールアドレスなしを無視する」オプションをご利用ください。
詳しくはこちらをご覧ください。 Google Mapsからメールを抽出する方法とは？
はい。アドバンストパラメーターで「サイト」フィルターを作成してください。詳しくは、こちらのチュートリアルをご覧ください。
まず、「重複を排除する」オプションが選択されている必要があります。互いに関連するカテゴリに対してタスクを作成する場合、これらのカテゴリは同じタスクに含まれなければならないことをお勧めします。
そうでなければ、類似・関連するカテゴリーのために、同じ結果が異なるタスクにリストアップされる可能性があります。
追伸：Eメール＆コンタクトスクレイパーのエンリッチメントサービスを追加した場合、重複したメールが不要な場合は、「重複したメールを削除する」オプションを選択する必要があります。
Outscraperのサービスでは、Google Mapsのレビューをスクレイピングすることができます。しかし グーグルマップレビュースクレーパー サービスは、Google Maps Data Scraperではなく、これを行います。詳しくはこちらをご覧ください。 Googleマップのレビューをスクレイピングするには？
グーグルマップには 5,000カテゴリ.Outscraper Google Maps Data Scraperのダッシュボードには、このカテゴリーリストが用意されています。タスク作成時にこれらのカテゴリーを直接選択することができます。
対象となる事業に直接関連する同じカテゴリがリストにある場合は、それを選択します。
リストにない場合は、検索したカテゴリーに最も近いカテゴリーをいくつか選択することで、広範囲な検索を行うことができます。この方法で最も包括的な結果を得ることができます。
もし、企業が密集している地域をスキャンしてスクラップしたいのであれば、「郵便番号」を使ってタスクを作成するとよいでしょう。Googleマップは検索クエリで最大500件まで表示されるため
Outscraperがこの500件の検索結果をすべてかき集めたとしても、結果ファイルに掲載されない企業も出てくるでしょう。これは、不完全なデータベースとなります。
このような事態を避けるために、郵便番号を使ってタスクを作成する必要があります。検索クエリは郵便番号ごとに作成されます。この方法では、500件という制限を超えることができ、すべての問題を解決することができます。
詳しくはこちらをご覧ください。 Googleマップから人口密度の高い地域やカテゴリーをスクレイピングする方法とは？
0のコメント