目次を見る
Pure RubyによるGoogle Mapsスクレイピング
Google Mapsのスクレイピングには、コーディング、ブラウザエミュレーション、プロキシ、reCAPTCHAソルバーなどの知識が欠かせません。また、Googleが今後行うダイナミックコンテンツのアップデートに対応できるように準備しておく必要があります。
まず、実際のユーザーの行動を模倣するために、ブラウザのエミュレーションを採用する必要があります。有効なソリューションとしては セレン や類似のブラウザ・エミュレーション・ツールを使用することができます。
それ以外にも プロキシ は、オフィス/自宅のIPアドレスを保護するために不可欠です。これにより、他のユーザーのIPアドレスを使用してウェブにアクセスすることができます。
このようなツールを一定期間使用すると、GoogleはreCAPTCHAを表示し、あなたのIPアドレスの一部を関連付けるようになる場合があります。をインストールすることができます。 reCAPTCHAソルバー IPアドレスをいちいち切り替えるのが面倒な場合。
さらに、Googleの情報が更新されるケースも想定しておく。定期的にテストすることで可能です。
スクレイパーを開発し、稼働させ続けることは可能ですが、時間がかかるかもしれません。PythonとSeleniumを使ったGoogle Mapsのスクレイピングについては、こちらの詳細なガイドをご覧ください。 PythonとSeleniumでGoogle Mapsをスクレイピングする方法。
Outscraper RubyパッケージによるGoogle Mapsスクレイピング
A more tried-and-tested way of scraping Google Maps will be using the Outscraper Rubyライブラリ.へのアクセスに便利です。 Outscraper API を使用することができるRuby言語で書かれたアプリケーションから。 Outscraperのサービス をあなたのコードから削除してください。
インストール
gemをインストールし、実行することでアプリケーションのGemfileに追加します。
bundle add outscraper
bundler で依存関係を管理していない場合は、gem のインストールを実行します。
gem install outscraper
初期設定
クラスをインポートし、秘密のAPIキーを追加して、Outscraperクライアントを初期化します。APIキーの生成は プロフィールページ.
require 'Outscraper'
client = Outscraper::Client.new('SECRET_API_KEY')
使用例
ここでは、検索クエリを使ってGoogle Mapsから場所をスクレイピングする例を紹介します。
# Search for businesses in specific locations:
result = client.google_maps_search_v2('restaurants brooklyn usa', limit: 20, language: 'en', region: 'us')
また、Place Idを使用してデータを抽出することも可能です。
# Get data of the specific place by id
result = client.google_maps_search_v2('ChIJrc9T9fpYwokRdvjYRHT8nI4', language: 'en')
Outscraper SDKを今すぐ試す
Google MapsのスクレイピングをRubyで簡単にできるようになったのは、Outscraper SDKがそれを可能にしたからです。今ならFree Tierで試せます。
よくある質問
最も頻繁な質問と回答
バンブーアドアウトスクレーパー
gem install outscraper
require 'Outscraper'
client = Outscraper::Client.new('SECRET_API_KEY'))
# 特定の場所にあるビジネスを検索します。
result = client.google_maps_search_v2('restaurants brooklyn usa', limit: 20, language: 'en', region: 'us')Google Mapsのスクレイピングには、コーディング、ブラウザエミュレーション、プロキシ、などの知識が必要です。 reCAPTCHAソルバー。 さらに、Googleがダイナミックコンテンツに加えるかもしれない変更に対応する準備も必要です。
Googleマップはスクレイピングを認めない。しかし、公共データのスクレイピングと抽出は、アメリカ合衆国憲法修正第1条で保護されています。
0のコメント