目次を見る

Pure Node.jsによるGoogle Mapsスクレイピング

Google Mapsを抽出するためには、コンピュータ・プログラミング、ブラウザ・エミュレーション、プロキシ、reCAPTCHAソルバーに関する十分な知識が重要である。同様に、Googleがアダプティブコンテンツに変更を加えた場合にも対応できるように準備しておく必要がある。

ブラウザエミュレーションを効果的に利用するためには、まず実際のユーザーの行動をシミュレートする必要があります。使用方法 セレン や他のブラウザのエミュレータを利用するのも有効な手段かもしれません。

その上で プロキシ は、職場や個人宅のIPアドレスを保護したい場合、2位となります。このため、他のユーザーのIPアドレスからウェブサイトを要求することができるようになります。

reCAPTCHA が発生するたびに IP が切り替わるようなことは避けなければなりません。 reCAPTCHAソルバー は、Googleがそのツールのコレクションにもかかわらず、まだreCAPTCHAを表示し、あなたのIPのいくつかにそれを接続する可能性があるので、あなたのシステムに。これは、たとえそれなりのトラフィックがあったとしても起こりうることです。

さらに、Googleが提供する情報を実際に変更することもあります。日々のシンプルなテストが功を奏します。

スクレイパーを有効にするのは大掛かりな作業になりますが、いずれは実行し開発することが可能です。PythonとSeleniumを使ったGoogle Mapsのスクレイピングについては、こちらの詳細なガイドをご覧ください。 PythonとSeleniumでGoogle Mapsをスクレイピングする方法.

Outscraper Node.jsパッケージによるGoogle Mapsスクレイピング

を使用しています。 Outscraper Node.jsライブラリ は、Google Mapsのスクレイピングの品質を向上させます。への便利なアクセスを提供します。 Outscraper API を使用することができるNode.js言語で書かれたアプリケーションから Outscraperのサービス をあなたのコードから削除してください。

をインストールすることから始めることができます。 小包 でアカウントを作成し アウトスクレーパー.

インストール

以下のコマンドを実行し、Outscraper SDKをインストールします。

				
					npm install outscraper --save
# または
yarn add アウトスクレイパーを追加します。
				
			

初期設定

クラスをインポートし、秘密のAPIキーを追加して、Outscraperクライアントを初期化します。APIキーの生成は プロフィールページ.

				
					const Outscraper = require('outscraper')。
// あるいは、ESモジュールを使用する。
Outscraper を 'outscraper' からインポートする。

let client = new Outscraper('SECRET_API_KEY');.
				
			

使用例

ここでは、検索クエリを使ってGoogle Mapsから場所をスクレイピングする例を紹介します。

				
					// 特定の場所にある企業を検索する。
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
  console.log(レスポンス);
});


// 2つのクエリで場所をスクラップする
client.googleMapsSearchV2(
  ['restaurants brooklyn usa', 'bars brooklyn usa'],
  limit=50, // 各クエリごとの場所の制限数
  language='en',
  region='US',
).then(response => {
  response.forEach(queryPlaces => { (クエリプレイス)
    queryPlaces.forEach(place => {)
      console.log('--------------------');
      console.log('クエリ: ', place.query)。
      console.log('名前: ', place.名前);。
      console.log('電話番号: ', place.phone); console.log('電話番号: ', place.phone);
      console.log('サイト: ', place.site);
    });
  });
});
				
			

また、Place Idを使用してデータを抽出することも可能です。

				
					// idで指定した場所のデータを取得する
client.googleMapsSearchV2(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language=ja').then(response => {)
  console.log(レスポンス);
});

// 地名で地名をスクラップする
client.googleMapsSearchV2(
  ["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
  limit=1, // 各クエリごとのパース数制限
).then(response => {
  response.forEach(queryPlaces => {)
    queryPlaces.forEach(place => {)
      console.log('--------------------');
      console.log('名前: ', place.名前);
      console.log('場所ID: ', 場所.場所ID);
    });
  });
});
				
			

Outscraper SDKを今すぐ試す

Outscraper SDKは、Node.jsでGoogle Mapsのスクレイピングを簡単に行うことができる効率的な方法を提供しています。無料版でお試しください。

よくある質問

最も頻繁な質問と回答

Outscraper SDKを使用すると、Google Mapの結果をスクレイピングすることができます。検索クエリや言語などのパラメータを指定し、リクエストを送信してください。
npm install outscraper --save
# または
yarn add outscraper
const Outscraper = require('outscraper')。
// あるいは、ESモジュールを使用する。
Outscraper を 'outscraper' からインポートする。

let client = new Outscraper('SECRET_API_KEY');
// 特定の場所にある企業を検索する。
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
  console.log(レスポンス);
});


// 2つのクエリで場所をスクラップする
client.googleMapsSearchV2(
  ['restaurants brooklyn usa', 'bars brooklyn usa'],
  limit=50, // 各クエリごとの場所の制限数
  language='en',
  region='US',
).then(response => {
  response.forEach(queryPlaces => { (クエリプレイス)
    queryPlaces.forEach(place => {)
      console.log('--------------------');
      console.log('クエリ: ', place.query)。
      console.log('名前: ', place.名前);。
      console.log('電話番号: ', place.phone); console.log('電話番号: ', place.phone);
      console.log('サイト: ', place.site);
    });
  });
});

Google Mapsのスクレイピングには、コーディング、ブラウザエミュレーション、プロキシ、などの知識が必要です。 reCAPTCHAソルバー。 さらに、Googleがダイナミックコンテンツに加えるかもしれない変更に対応する準備も必要です。

Googleマップはスクレイピングを認めない。しかし、公共データのスクレイピングと抽出は、アメリカ合衆国憲法修正第1条で保護されています。

カテゴリ: API

ユヌス

マーケター、コンテンツライター、カスタマーエクスペリエンスデベロッパー-。 フェイスブック | Linkedin | ツイッター

0コメント

コメントを残す

アバタープレースホルダー