PythonとSeleniumでGoogle Mapsをスクレイピングする方法とは？

Vladが に掲載

目次を見る

使用方法 セレン のデータスクレイピングは、かなり一般的なことです。ブラウザを自動化し、実際のユーザーの行動をシミュレートしてブロックされないようにすることができます。これは、GoogleのようなJavaScriptが動的に生成されたサイトをスクレイピングしているときに特に便利です。さらに、基本的に実際のクライアントの行動をシミュレートするため、あらゆる種類のクロールの保護を避けるのに役立ちます。

この記事では、1000ページ以上あってもブロックされずにGoogleマップから場所を解析できるスクレーパーを開発するためのステップバイステップのチュートリアルを紹介します。

seleniumでgoogle mapsをスクレイピング
SeleniumでChromeブラウザを制御する

クローラーの製作に必要なもの

  1. Python 3+。
  2. Chromeブラウザがインストールされています。
  3. Selenium 3.141.0+ (pythonパッケージ)を使用しています。
  4. Chrome Driver（お使いのOS用）。
  5. Parselや、Beautiful SoupのようなHTMLからデータを抽出するライブラリを使用します。

Google Maps Extractorを構築するためのステップバイステップのチュートリアル

ChromeDriverのダウンロードと保存

Google ChromeでSeleniumを使用するには、次のようにしてpythonコードをブラウザにリンクさせる必要があります。 クロムドライバー.

お使いのブラウザのバージョンとOSの種類に合わせて、ChromeDriverのバージョンをダウンロードしてください。お使いのChromeブラウザーのバージョン番号は、こちらで確認できます。Chrom -> メニューアイコン（右上） -> ヘルプ -> Google Chromeについて。

chromedriver ファイルを解凍し、システム上のどこかに保存します（パスは後で使用します）。このチュートリアルの例では、プロジェクト・フォルダーに保存します。

Selenium および Parsel パッケージのインストール

以下のコマンドを実行して、SeleniumとParselのパッケージをインストールします。Parselは、後でHTMLからコンテンツを解析する際に使用します。

				
					pip install selenium
pip install parsel # to extract data from HTML using XPath or CSS selectors

Webdriverの初期化と起動

Webdriver を初期化する前に、前のステップを実行し、chromedriver ファイルへのパスがあることを確認してください。以下のコードでドライバを初期化します。新しいChromeウィンドウが開いているのが見えるはずです。

				
					from selenium import webdriver


chromedrive_path = './chromedriver' # use the path to the driver you downloaded from previous steps
driver = webdriver.Chrome(chromedrive_path)

macの場合、以下のように表示されることがあります。「開発元が確認できないため、chromedriver を開くことができません" と表示されることがあります。この問題を解決するには、Finderでchromedriverをcontrol-clickし、メニューから「開く」を選択し、表示されたダイアログで「開く」をクリックします。開いたターミナルウィンドウに「ChromeDriverが正常に起動しました」と表示されるはずです。これを閉じると、コードからChromeDriverを起動できるようになります。

Googleマップページのダウンロード

ドライバを起動したら、いくつかのページを開くことができます。任意のページを開くには、"get "コマンドを使用します。

				
					url = 'https://www.google.com/maps/search/bars+near+NY,+USA/@40.7443439,-74.0197995,13z'
driver.get(url)

マップ検索のコンテンツを解析する

ページが開かれると、Pythonコードで制御されたページがブラウザウィンドウに表示されます。以下のコードを実行すると、ChromeDriverからHTMLページのコンテンツを取得することができます。

				
					page_content = driver.page_source

HTMLの内容を快適に見るには、ブラウザのウィンドウ右上にあるChromeメニューを開き、「その他のツール」＞「デベロッパーツール」を選択して、Chromeのデベロッパーコンソールを開いてください。これで、ページの要素を見ることができるようになるはずです。

google maps HTML parsing
Developer Consoleで取得したい要素へのXPathを検索する

お好みの解析ツールを使って、HTMLページからコンテンツを解析することができます。ここでは パーセル このチュートリアルでは

				
					from parsel import Selector

response = Selector(page_content)

リスティングを繰り返し、各プレイスのデータを取得する。

				
					results = []

for el in response.xpath('//div[contains(@aria-label, "Results for")]/div/div[./a]'):
    results.append({
        'link': el.xpath('./a/@href').extract_first(''),
        'title': el.xpath('./a/@aria-label').extract_first('')
    })
    
print(results)

Google Mapsの場所からの出力(短縮)。

				
					[
  {
    'link': 'https://www.google.com/maps/place/Black+Iron+Burger/data=!4m5!3m4!1s0x89c259acf2c7299d:0x149a07481483ce!8m2!3d40.7542649!4d-73.990364?authuser=0&hl=en&rclk=1',
    'title': 'Black Iron Burger'
  },
  {
    'link': 'https://www.google.com/maps/place/Fools+Gold+NYC/data=!4m5!3m4!1s0x89c259846e633763:0x69420cb6024065f9!8m2!3d40.723028!4d-73.989794?authuser=0&hl=en&rclk=1',
    'title': 'Fools Gold NYC'
  },
  {
    'link': 'https://www.google.com/maps/place/11th+St.+Bar/data=!4m5!3m4!1s0x89c25976492b11ff:0x14f9cacdef3eb7c1!8m2!3d40.7280546!4d-73.9812525?authuser=0&hl=en&rclk=1',
    'title': '11th St. Bar'
  },
  ...
]

抽出が完了したらドライバーを停止する

それに合わせて、削る前と削った後にドライバを起動・停止することが重要です。ネットサーフィンの前後にブラウザーを開いたり閉じたりするのと同じです。以下のコードを実行して、ドライバを閉じます。

				
					driver.quit()

結論と、スクレーパーのスケールアップと堅牢化のための推奨事項

Google MapsのトリッキーなHTML構造にもかかわらず、SeleniumとXPathとCSSセレクタの知識があれば、スクレイピングでかなり良い結果を出すことができます。ブラウザエミュレータを使用するこの方法は、ブロックされることからあなたを保護するはずです。しかし、アプリケーションを拡張する場合は、予期せぬトラブルを避けるために、プロキシの使用も検討する必要があります。

並列運転

ドライバをマルチプロセッシング（マルチスレッドではない）で動作させることは可能ですが、各ドライバが1CPUを消費することになります。十分な数を確保するようにしてください。

企業規模でGoogle Mapsをスクレイピングするための究極の方法

Googleをスクレイピングするのは非常に難しいことですが、多くの企業や大企業は、独自のクローラーの開発やメンテナンスに時間をかけることなく、数百万ページのスクレイピングを開始したいと考えています。

Google Mapsのスクレイピングを始める最も簡単な方法は、次のようなものです。 Outscraperプラットフォーム (結果をCSVファイルで取得する場合)。 APIまたは SDK (コードに統合する）。

グーグルマップスクレイピングを最も簡単に始める方法

以下のコマンドを実行し、OutscraperのSDKをインストールします。

				
					pip install google-services-api

クライアントを初期化し、Googleでリスティングを検索したり、プレイスIDを送信して特定のリスティングを解析したりします。

* APIトークン(SECRET_API_KEY)を取得することができます。 プロフィールページ

				
					from outscraper import ApiClient

api_client = ApiClient(api_key='SECRET_API_KEY')

# Search for businesses in specific locations:
result = api_client.google_maps_search('restaurants brooklyn usa', limit=20, language='en')

# Get data of the specific place by id
result = api_client.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', language='en')

# Search with many queries (batching)
result = api_client.google_maps_search([
    'restaurants brooklyn usa',
    'bars brooklyn usa',
], language='en')

print(result)

結果出力（短縮）。

				
					[
  [
    {
      "name": "Colonie",
      "full_address": "127 Atlantic Ave, Brooklyn, NY 11201",
      "borough": "Brooklyn Heights",
      "street": "127 Atlantic Ave",
      "city": "Brooklyn",
      "postal_code": "11201",
      "country_code": "US",
      "country": "United States of America",
      "us_state": "New York",
      "state": "New York",
      "plus_code": null,
      "latitude": 40.6908464,
      "longitude": -73.9958422,
      "time_zone": "America/New_York",
      "popular_times": null,
      "site": "http://www.colonienyc.com/",
      "phone": "+1 718-855-7500",
      "type": "American restaurant",
      "category": "restaurants",
      "subtypes": "American restaurant, Cocktail bar, Italian restaurant, Organic restaurant, Restaurant, Wine bar",
      "posts": null,
      "rating": 4.6,
      "reviews": 666,
      "reviews_data": null,
      "photos_count": 486,
      "google_id": "0x89c25a4590b8c863:0xc4a4271f166de1e2",
      "place_id": "ChIJY8i4kEVawokR4uFtFh8npMQ",
      "reviews_link": "https://search.google.com/local/reviews?placeid=ChIJY8i4kEVawokR4uFtFh8npMQ&q=restaurants+brooklyn+usa&authuser=0&hl=en&gl=US",
      "reviews_id": "-4277250731621359134",
      "photo": "https://lh5.googleusercontent.com/p/AF1QipN_Ani32z-7b9XD182oeXKgQ-DIhLcgL09gyMZf=w800-h500-k-no",
      "street_view": "https://lh5.googleusercontent.com/p/AF1QipN_Ani32z-7b9XD182oeXKgQ-DIhLcgL09gyMZf=w1600-h1000-k-no",
      "working_hours_old_format": "Monday: 5\\u20139:30PM | Tuesday: Closed | Wednesday: Closed | Thursday: 5\\u20139:30PM | Friday: 5\\u20139:30PM | Saturday: 11AM\\u20133PM,5\\u20139:30PM | Sunday: 11AM\\u20133PM,5\\u20139:30PM",
      "working_hours": {
        "Monday": "5\\u20139:30PM",
        "Tuesday": "Closed",
        "Wednesday": "Closed",
        "Thursday": "5\\u20139:30PM",
        "Friday": "5\\u20139:30PM",
        "Saturday": "11AM\\u20133PM,5\\u20139:30PM",
        "Sunday": "11AM\\u20133PM,5\\u20139:30PM"
      },
      "business_status": "OPERATIONAL",
      },
      "reserving_table_link": "https://resy.com/cities/ny/colonie",
      "booking_appointment_link": "https://resy.com/cities/ny/colonie",
      "owner_id": "114275131377272904229",
      "verified": true,
      "owner_title": "Colonie",
      "owner_link": "https://www.google.com/maps/contrib/114275131377272904229",
      "location_link": "https://www.google.com/maps/place/Colonie/@40.6908464,-73.9958422,14z/data=!4m8!1m2!2m1!1sColonie!3m4!1s0x89c25a4590b8c863:0xc4a4271f166de1e2!8m2!3d40.6908464!4d-73.9958422"
      ...
    },
   ...
  ]
]

おまけ。Googleレビュースクレイピングを最も簡単に始める方法

以下のコードを実行することで、レビューを抽出することができます（pythonパッケージをインストールし、クライアントを起動していることが前提です）。

				
					# Get reviews of the specific place by id
result = api_client.google_maps_reviews('ChIJrc9T9fpYwokRdvjYRHT8nI4', reviewsLimit=20, language='en')

# Get reviews for places found by search query
result = api_client.google_maps_reviews('Memphis Seoul brooklyn usa', reviewsLimit=20, limit=500, language='en')

# Get only new reviews during last 24 hours
from datetime import datetime, timedelta
yesterday_timestamp = int((datetime.now() - timedelta(1)).timestamp())

result = api_client.google_maps_reviews(
    'ChIJrc9T9fpYwokRdvjYRHT8nI4', sort='newest', cutoff=yesterday_timestamp, reviewsLimit=100, language='en')

結果出力（短縮）。

				
					{
  "name": "Memphis Seoul",
  "address": "569 Lincoln Pl, Brooklyn, NY 11238, \\u0421\\u043f\\u043e\\u043b\\u0443\\u0447\\u0435\\u043d\\u0456 \\u0428\\u0442\\u0430\\u0442\\u0438",
  "address_street": "569 Lincoln Pl",
  "owner_id": "100347822687163365487",
  "owner_link": "https://www.google.com/maps/contrib/100347822687163365487",
  ...
  "reviews_data": [
    {
      "google_id": "0x89c25bb5950fc305:0x330a88bf1482581d",
      "autor_link": "https://www.google.com/maps/contrib/112314095435657473333?hl=en-US",
      "autor_name": "Eliott Levy",
      "autor_id": "112314095435657473333",
      "review_text": "Very good local comfort fusion food ! \\nKimchi coleslaw !! Such an amazing idea !",
      "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s112314095435657473333!2s0x0:0x330a88bf1482581d?hl=en-US",
      "review_rating": 5,
      "review_timestamp": 1560692128,
      "review_datetime_utc": "06/16/2019 13:35:28",
      "review_likes": null
    },
    {
      "google_id": "0x89c25bb5950fc305:0x330a88bf1482581d",
      "autor_link": "https://www.google.com/maps/contrib/106144075337788507031?hl=en-US",
      "autor_name": "fenwar1",
      "autor_id": "106144075337788507031",
      "review_text": "Great wings with several kinds of hot sauce. The mac and cheese ramen is excellent.\\nUPDATE:\\nReturned later to try the meatloaf slider, a thick meaty slice  topped with slaw and a fantastic sauce- delicious. \\nConsider me a regular.\\ud83d\\udc4d",
      "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s106144075337788507031!2s0x0:0x330a88bf1482581d?hl=en-US",
      "review_rating": 5,
      "review_timestamp": 1571100055,
      "review_datetime_utc": "10/15/2019 00:40:55",
      "review_likes": null
    },
    ...
  ]
}
Create a Free Account

よくある質問

最も頻繁な質問と回答

OutscraperのSDKのおかげで、Python SeleniumでGoogle Mapsのデータをスクレイピングすることが可能になりました。Outscraper Google Maps Places APIのドキュメントで何ができるかを確認してください。

PythonとSeleniumを使って、Google Mapsのデータをスクレイピングする処理を自動化することが可能です。Outscraperでは Google Maps Places API とSDKがあり、この作業を簡略化することができます。

PythonとSeleniumを使って、Google Mapsのスクレイピングを自動化することが可能です。 Outscraper Google Maps Places API とSDKを使えば、最も簡単な方法でこれを実現することができます。

カテゴリー Pyhton
タグ

ヴラド

プロジェクトマネージャー Linkedin

0のコメント

コメントを残す

アバタープレースホルダー

関連記事

Outscraper Webhookリクエストの検証
API

Outscraper Webhookリクエスト署名を検証する方法

When you configure a webhook URL in your Outscraper integration settings, our system will automatically send a POST request with the scraped results to that URL whenever a task/reuqest is finished.

Pyhton

PythonでGoogle Maps Placesをスクレイピングする方法とは？

この記事では、Google Mapsをスクレイピングするための2つの最も一般的なツール、ブラウザエミュレーションとOutscraper APIをご覧いただきます。このチュートリアルは、個人やビッグデータチームのデータを抽出するのに十分なものであるはずです。

Pyhton

Scraping of All Google Reviews in Python Easily

Scraping Google with all its protections and dynamically rendering pages might be a challenging task. Fortunately, there are many tools that you can use to scraper reviews in python or any other programming language.