目次を見る
Pure Node.jsによるGoogle Mapsスクレイピング
Google Mapsを抽出するためには、コンピュータ・プログラミング、ブラウザ・エミュレーション、プロキシ、reCAPTCHAソルバーに関する十分な知識が重要です。同様に、Googleがアダプティブコンテンツに加える可能性のある変更に対応するための準備も必要である。
ブラウザエミュレーションを効果的に利用するためには、まず実際のユーザーの行動をシミュレートする必要があります。使用方法 セレン や他のブラウザのエミュレータを利用するのも有効な手段かもしれません。
その上で プロキシ は、職場や個人宅のIPアドレスを保護したい場合、2位となります。このため、他のユーザーのIPアドレスからウェブサイトを要求することができるようになります。
reCAPTCHA が発生するたびに IP が切り替わるようなことは避けなければなりません。 reCAPTCHAソルバー は、Googleがそのツールのコレクションにもかかわらず、まだreCAPTCHAを表示し、あなたのIPのいくつかにそれを接続する可能性があるので、あなたのシステムに。これは、たとえそれなりのトラフィックがあったとしても起こりうることです。
さらに、Googleが提供する情報を実際に変更することもあります。日々のシンプルなテストが功を奏します。
スクレイパーを有効にするのは大掛かりな作業になりますが、いずれは実行し開発することが可能です。PythonとSeleniumを使ったGoogle Mapsのスクレイピングについては、こちらの詳細なガイドをご覧ください。 PythonとSeleniumでGoogle Mapsをスクレイピングする方法.
Outscraper Node.jsパッケージによるGoogle Mapsスクレイピング
を使用しています。 Outscraper Node.jsライブラリ は、Google Mapsのスクレイピングの品質を向上させます。への便利なアクセスを提供します。 Outscraper API を使用することができるNode.js言語で書かれたアプリケーションから Outscraperのサービス をあなたのコードから削除してください。
インストール
以下のコマンドを実行し、Outscraper SDKをインストールします。
npm install outscraper --save
# Or
yarn add outscraper
初期設定
クラスをインポートし、秘密のAPIキーを追加して、Outscraperクライアントを初期化します。APIキーの生成は プロフィールページ.
const Outscraper = require('outscraper');
// Or using ES modules:
import Outscraper from 'outscraper';
let client = new Outscraper('SECRET_API_KEY');
使用例
ここでは、検索クエリを使ってGoogle Mapsから場所をスクレイピングする例を紹介します。
// 特定の場所にある企業を検索する。
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(レスポンス);
});
// 2つのクエリで場所をスクラップする
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // 各クエリごとの場所の制限数
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => { (クエリプレイス)
queryPlaces.forEach(place => {)
console.log('--------------------');
console.log('クエリ: ', place.query)。
console.log('名前: ', place.名前);。
console.log('電話番号: ', place.phone); console.log('電話番号: ', place.phone);
console.log('サイト: ', place.site);
});
});
});
また、Place Idを使用してデータを抽出することも可能です。
// Get data of the specific place by id
client.googleMapsSearch(['ChIJrc9T9fpYwokRdvjYRHT8nI4'], language='en').then(response => {
console.log(response);
});
// Scrap Places by Place Ids
client.googleMapsSearch(
["ChIJ8ccnM7dbwokRy-pTMsdgvS4", "ChIJN5X_gWdZwokRck9rk2guJ1M", "ChIJxWLy8DlawokR1jvfXUPSTUE"],
limit=1, // limit of palces per each query
).then(response => {
response.forEach(queryPlaces => {
queryPlaces.forEach(place => {
console.log('--------------------');
console.log('name: ', place.name);
console.log('place_id: ', place.place_id);
});
});
});
Outscraper SDKを今すぐ試す
Outscraper SDKは、Node.jsでGoogle Mapsのスクレイピングを簡単に行うことができる効率的な方法を提供しています。無料版でお試しください。
よくある質問
最も頻繁な質問と回答
Outscraper SDKを使用すると、Google Mapの結果をスクレイピングすることができます。検索クエリや言語などのパラメータを指定し、リクエストを送信してください。
npm install outscraper --save # または yarn add outscraper
const Outscraper = require('outscraper')。
// あるいは、ESモジュールを使用する。
Outscraper を 'outscraper' からインポートする。
let client = new Outscraper('SECRET_API_KEY');// 特定の場所にある企業を検索する。
client.googleMapsSearchV2(['restaurants brooklyn usa'], limit=20, language='en', region='us').then(response => {
console.log(レスポンス);
});
// 2つのクエリで場所をスクラップする
client.googleMapsSearchV2(
['restaurants brooklyn usa', 'bars brooklyn usa'],
limit=50, // 各クエリごとの場所の制限数
language='en',
region='US',
).then(response => {
response.forEach(queryPlaces => { (クエリプレイス)
queryPlaces.forEach(place => {)
console.log('--------------------');
console.log('クエリ: ', place.query)。
console.log('名前: ', place.名前);。
console.log('電話番号: ', place.phone); console.log('電話番号: ', place.phone);
console.log('サイト: ', place.site);
});
});
});Google Mapsのスクレイピングには、コーディング、ブラウザエミュレーション、プロキシ、などの知識が必要です。 reCAPTCHAソルバー。 さらに、Googleがダイナミックコンテンツに加えるかもしれない変更に対応する準備も必要です。
Googleマップはスクレイピングを認めない。しかし、公共データのスクレイピングと抽出は、アメリカ合衆国憲法修正第1条で保護されています。
0のコメント