目次を見る
Pure JavaによるGoogle Mapsのスクレイピング
Google Mapsのスクレイピングには、コード、ブラウザエミュレーション、プロキシ、reCAPTCHAソルバーなどの確かな理解が必要です。Googleは動的なコンテンツを持っています。そのため、その変更に対応する必要があります。
主に、ブラウザのエミュレーションによって、実際のユーザーの行動を模倣する必要があります。利用方法 セレン や他のブラウザのエミュレータを利用するのが現実的な方法かもしれません。第二に プロキシ 他のユーザーのIPアドレスからウェブサイトを要求できるように、お客様のオフィス/自宅のIPアドレスを保護したい場合。
Googleは、おそらくreCAPTCHAであなたを表示し、すべてのそのセットのツールにもかかわらず、あなたのIPのいくつかにそれをバインドすることができます、あなたが公正な使用法を持っているとき。そのために reCAPTCHAソルバー reCAPTCHAに遭遇するたびにIPアドレスを変更したくない場合。
さらに、Googleがそのウェブサイトのコンテンツを変更する可能性に常に備えておく必要があります。毎日テストを実施することで、これを達成することができます。
スクレイパーの実装には時間がかかるかもしれませんが、構築・維持することは可能です。PythonとSeleniumを使ってGoogle Mapsをスクレイピングする方法については、この包括的なガイドをご覧ください。 PythonとSeleniumでGoogle Mapsをスクレイピングする方法。
Outscraper JavaパッケージによるGoogle Mapsスクレイピング
を使用しています。 Outscraper Javaライブラリ は、Google Mapsのスクレイピングをより簡単に、より信頼性の高いものにします。 へのアクセスに便利です。 Outscraper API アプリケーションで書かれた を使うことができます。 Outscraperのサービス をあなたのコードから削除してください。
インストール
Outscraper SDKをMaven、またはGradleを使用してインストールします。
グラドル
build.gradleファイルを編集します。
repositories {
maven { url "https://jitpack.io" }
}
dependencies {
implementation 'com.github.outscraper:outscraper-java:v1.0.4'
}
メイヴン
を追加します。 ジットパック レポジトリをビルドファイルに追加します。
<repositories>
<repository>
<id>jitpack.io</id>
<url>https://jitpack.io</url>
</repository>
</repositories>
依存関係を追加します。
<dependency>
<groupId>com.github.outscraper</groupId>
<artifactId>outscraper-java</artifactId>
<version>v1.0.4</version>
</dependency>
初期設定
クラスをインポートし、秘密のAPIキーを追加して、Outscraperクライアントを初期化します。APIキーの生成は プロフィールページ.
OutscraperClient client = new OutscraperClient("SECRET_API_KEY");
使用例
ここでは、検索クエリを使ってGoogle Mapsから場所をスクレイピングする例を紹介します。
// Search for businesses in specific locations:
JSONArray results = client.googleMapsSearchV2(new HashMap<String, Object>() {{
put("query", "restaurants brooklyn usa");
put("limit", 20);
put("language", "en");
put("region", "us");
}});
System.out.println(results);
また、Place Idを使用してデータを抽出することも可能です。
// Get data of the specific place by id
JSONArray results = client.googleMapsSearchV2(new HashMap<String, Object>() {{
put("query", "ChIJrc9T9fpYwokRdvjYRHT8nI4");
put("language", "en");
}});
System.out.println(results);
Outscraper SDKを今すぐ試す
OutscraperのSDKを使えば、JavaでGoogle Mapsをスクレイピングできるようになります。まずはFree Tierでお試しください。
よくある質問
最も頻繁な質問と回答
Outscraper SDKを使用すると、Google Mapの結果をスクレイピングすることができます。検索クエリや言語などのパラメータを指定し、リクエストを送信してください。
<リポジトリ
<リポジトリ
jitpack.io。
https://jitpack.io
</repository
。
<依存関係 com.github.outscraper. outscraper-java</artifactId v1.0.4. </dependency
OutscraperClient client = new OutscraperClient("SECRET_API_KEY");// 特定の場所にある企業を検索する。
JSONArray results = client.googleMapsSearchV2(new HashMap() {{
put("query", "restaurants brooklyn usa");
put("limit", 20);
put("言語", "en");
put("地域", "us")。
}});
System.out.println(results)を実行します。Google Mapsのスクレイピングには、コーディング、ブラウザエミュレーション、プロキシ、などの知識が必要です。 reCAPTCHAソルバー。 さらに、Googleがダイナミックコンテンツに加えるかもしれない変更に対応する準備も必要です。
Googleマップはスクレイピングを認めない。しかし、公共データのスクレイピングと抽出は、アメリカ合衆国憲法修正第1条で保護されています。
0のコメント