PythonとSeleniumでGoogle Mapsをスクレイピングする方法とは？

Q: Google Maps Python seleniumからスクレイプする方法？

Thanks to Outscraper’s SDK, it is possible to scrape Google Maps data with Python Selenium. Check out the Outscraper Google Maps Places API documentation to see what you can do.

Q: seleniumを使ってGoogle mapを自動化できないか？

Using Python and Selenium, it is possible to automate the process of scraping data from Google Maps. Outscraper offers a Google Maps Places API and SDKs which simplify this task.

Q: PythonでGoogle Mapsを自動化するには？

It is possible to automate Google Maps scraping using Python and Selenium. Outscraper Google Maps Places API and SDKs allow you to do this in the easiest way.

使用方法セレンのデータスクレイピングは、かなり一般的なことです。ブラウザを自動化し、実際のユーザーの行動をシミュレートしてブロックされないようにすることができます。これは、GoogleのようなJavaScriptが動的に生成されたサイトをスクレイピングしているときに特に便利です。さらに、基本的に実際のクライアントの行動をシミュレートするため、あらゆる種類のクロールの保護を避けるのに役立ちます。

この記事では、1000ページ以上あってもブロックされずにGoogleマップから場所を解析できるスクレーパーを開発するためのステップバイステップのチュートリアルを紹介します。

クローラーの製作に必要なもの

Python 3+。
Chromeブラウザがインストールされています。
Selenium 3.141.0+ (pythonパッケージ)を使用しています。
Chrome Driver（お使いのOS用）。
Parselや、Beautiful SoupのようなHTMLからデータを抽出するライブラリを使用します。

Google Maps Extractorを構築するためのステップバイステップのチュートリアル

ChromeDriverのダウンロードと保存

Google ChromeでSeleniumを使用するには、次のようにしてpythonコードをブラウザにリンクさせる必要があります。クロムドライバー.

お使いのブラウザのバージョンとOSの種類に合わせて、ChromeDriverのバージョンをダウンロードしてください。お使いのChromeブラウザーのバージョン番号は、こちらで確認できます。Chrom -> メニューアイコン（右上） -> ヘルプ -> Google Chromeについて。

chromedriver ファイルを解凍し、システム上のどこかに保存します（パスは後で使用します）。このチュートリアルの例では、プロジェクト・フォルダーに保存します。

Selenium および Parsel パッケージのインストール

以下のコマンドを実行して、SeleniumとParselのパッケージをインストールします。Parselは、後でHTMLからコンテンツを解析する際に使用します。

				
					pip install selenium
pip install parsel # to extract data from HTML using XPath or CSS selectors

Webdriverの初期化と起動

Webdriver を初期化する前に、前のステップを実行し、chromedriver ファイルへのパスがあることを確認してください。以下のコードでドライバを初期化します。新しいChromeウィンドウが開いているのが見えるはずです。

				
					from selenium import webdriver


chromedrive_path = './chromedriver' # use the path to the driver you downloaded from previous steps
driver = webdriver.Chrome(chromedrive_path)

macの場合、以下のように表示されることがあります。「開発元が確認できないため、chromedriver を開くことができません" と表示されることがあります。この問題を解決するには、Finderでchromedriverをcontrol-clickし、メニューから「開く」を選択し、表示されたダイアログで「開く」をクリックします。開いたターミナルウィンドウに「ChromeDriverが正常に起動しました」と表示されるはずです。これを閉じると、コードからChromeDriverを起動できるようになります。

Googleマップページのダウンロード

ドライバを起動したら、いくつかのページを開くことができます。任意のページを開くには、"get "コマンドを使用します。

				
					url = 'https://www.google.com/maps/search/bars+near+NY,+USA/@40.7443439,-74.0197995,13z'
driver.get(url)

マップ検索のコンテンツを解析する

ページが開かれると、Pythonコードで制御されたページがブラウザウィンドウに表示されます。以下のコードを実行すると、ChromeDriverからHTMLページのコンテンツを取得することができます。

				
					page_content = driver.page_source

HTMLの内容を快適に見るには、ブラウザのウィンドウ右上にあるChromeメニューを開き、「その他のツール」＞「デベロッパーツール」を選択して、Chromeのデベロッパーコンソールを開いてください。これで、ページの要素を見ることができるようになるはずです。

お好みの解析ツールを使って、HTMLページからコンテンツを解析することができます。ここではパーセルこのチュートリアルでは

				
					from parsel import Selector

response = Selector(page_content)

リスティングを繰り返し、各プレイスのデータを取得する。

				
					results = []

for el in response.xpath('//div[contains(@aria-label, "Results for")]/div/div[./a]'):
    results.append({
        'link': el.xpath('./a/@href').extract_first(''),
        'title': el.xpath('./a/@aria-label').extract_first('')
    })
    
print(results)

Google Mapsの場所からの出力(短縮)。

				
					[
  {
    'link': 'https://www.google.com/maps/place/Black+Iron+Burger/data=!4m5!3m4!1s0x89c259acf2c7299d:0x149a07481483ce!8m2!3d40.7542649!4d-73.990364?authuser=0&hl=en&rclk=1',
    'title': 'Black Iron Burger'
  },
  {
    'link': 'https://www.google.com/maps/place/Fools+Gold+NYC/data=!4m5!3m4!1s0x89c259846e633763:0x69420cb6024065f9!8m2!3d40.723028!4d-73.989794?authuser=0&hl=en&rclk=1',
    'title': 'Fools Gold NYC'
  },
  {
    'link': 'https://www.google.com/maps/place/11th+St.+Bar/data=!4m5!3m4!1s0x89c25976492b11ff:0x14f9cacdef3eb7c1!8m2!3d40.7280546!4d-73.9812525?authuser=0&hl=en&rclk=1',
    'title': '11th St. Bar'
  },
  ...
]

抽出が完了したらドライバーを停止する

それに合わせて、削る前と削った後にドライバを起動・停止することが重要です。ネットサーフィンの前後にブラウザーを開いたり閉じたりするのと同じです。以下のコードを実行して、ドライバを閉じます。

				
					driver.quit()

結論と、スクレーパーのスケールアップと堅牢化のための推奨事項

Google MapsのトリッキーなHTML構造にもかかわらず、SeleniumとXPathとCSSセレクタの知識があれば、スクレイピングでかなり良い結果を出すことができます。ブラウザエミュレータを使用するこの方法は、ブロックされることからあなたを保護するはずです。しかし、アプリケーションを拡張する場合は、予期せぬトラブルを避けるために、プロキシの使用も検討する必要があります。

並列運転

ドライバをマルチプロセッシング（マルチスレッドではない）で動作させることは可能ですが、各ドライバが1CPUを消費することになります。十分な数を確保するようにしてください。

企業規模でGoogle Mapsをスクレイピングするための究極の方法

Googleをスクレイピングするのは非常に難しいことですが、多くの企業や大企業は、独自のクローラーの開発やメンテナンスに時間をかけることなく、数百万ページのスクレイピングを開始したいと考えています。

Google Mapsのスクレイピングを始める最も簡単な方法は、次のようなものです。 Outscraperプラットフォーム (結果をCSVファイルで取得する場合)。 APIまたは SDK (コードに統合する）。

グーグルマップスクレイピングを最も簡単に始める方法

以下のコマンドを実行し、OutscraperのSDKをインストールします。

				
					pip install google-services-api

クライアントを初期化し、Googleでリスティングを検索したり、プレイスIDを送信して特定のリスティングを解析したりします。

* APIトークン(SECRET_API_KEY)を取得することができます。プロフィールページ

				
					from outscraper import ApiClient

api_client = ApiClient(api_key='SECRET_API_KEY')

# Search for businesses in specific locations:
result = api_client.google_maps_search('restaurants brooklyn usa', limit=20, language='en')

# Get data of the specific place by id
result = api_client.google_maps_search('ChIJrc9T9fpYwokRdvjYRHT8nI4', language='en')

# Search with many queries (batching)
result = api_client.google_maps_search([
    'restaurants brooklyn usa',
    'bars brooklyn usa',
], language='en')

print(result)

結果出力（短縮）。

				
					[
  [
    {
      "name": "Colonie",
      "full_address": "127 Atlantic Ave, Brooklyn, NY 11201",
      "borough": "Brooklyn Heights",
      "street": "127 Atlantic Ave",
      "city": "Brooklyn",
      "postal_code": "11201",
      "country_code": "US",
      "country": "United States of America",
      "us_state": "New York",
      "state": "New York",
      "plus_code": null,
      "latitude": 40.6908464,
      "longitude": -73.9958422,
      "time_zone": "America/New_York",
      "popular_times": null,
      "site": "http://www.colonienyc.com/",
      "phone": "+1 718-855-7500",
      "type": "American restaurant",
      "category": "restaurants",
      "subtypes": "American restaurant, Cocktail bar, Italian restaurant, Organic restaurant, Restaurant, Wine bar",
      "posts": null,
      "rating": 4.6,
      "reviews": 666,
      "reviews_data": null,
      "photos_count": 486,
      "google_id": "0x89c25a4590b8c863:0xc4a4271f166de1e2",
      "place_id": "ChIJY8i4kEVawokR4uFtFh8npMQ",
      "reviews_link": "https://search.google.com/local/reviews?placeid=ChIJY8i4kEVawokR4uFtFh8npMQ&q=restaurants+brooklyn+usa&authuser=0&hl=en&gl=US",
      "reviews_id": "-4277250731621359134",
      "photo": "https://lh5.googleusercontent.com/p/AF1QipN_Ani32z-7b9XD182oeXKgQ-DIhLcgL09gyMZf=w800-h500-k-no",
      "street_view": "https://lh5.googleusercontent.com/p/AF1QipN_Ani32z-7b9XD182oeXKgQ-DIhLcgL09gyMZf=w1600-h1000-k-no",
      "working_hours_old_format": "Monday: 5\\u20139:30PM | Tuesday: Closed | Wednesday: Closed | Thursday: 5\\u20139:30PM | Friday: 5\\u20139:30PM | Saturday: 11AM\\u20133PM,5\\u20139:30PM | Sunday: 11AM\\u20133PM,5\\u20139:30PM",
      "working_hours": {
        "Monday": "5\\u20139:30PM",
        "Tuesday": "Closed",
        "Wednesday": "Closed",
        "Thursday": "5\\u20139:30PM",
        "Friday": "5\\u20139:30PM",
        "Saturday": "11AM\\u20133PM,5\\u20139:30PM",
        "Sunday": "11AM\\u20133PM,5\\u20139:30PM"
      },
      "business_status": "OPERATIONAL",
      },
      "reserving_table_link": "https://resy.com/cities/ny/colonie",
      "booking_appointment_link": "https://resy.com/cities/ny/colonie",
      "owner_id": "114275131377272904229",
      "verified": true,
      "owner_title": "Colonie",
      "owner_link": "https://www.google.com/maps/contrib/114275131377272904229",
      "location_link": "https://www.google.com/maps/place/Colonie/@40.6908464,-73.9958422,14z/data=!4m8!1m2!2m1!1sColonie!3m4!1s0x89c25a4590b8c863:0xc4a4271f166de1e2!8m2!3d40.6908464!4d-73.9958422"
      ...
    },
   ...
  ]
]

おまけ。Googleレビュースクレイピングを最も簡単に始める方法

以下のコードを実行することで、レビューを抽出することができます（pythonパッケージをインストールし、クライアントを起動していることが前提です）。

				
					# Get reviews of the specific place by id
result = api_client.google_maps_reviews('ChIJrc9T9fpYwokRdvjYRHT8nI4', reviewsLimit=20, language='en')

# Get reviews for places found by search query
result = api_client.google_maps_reviews('Memphis Seoul brooklyn usa', reviewsLimit=20, limit=500, language='en')

# Get only new reviews during last 24 hours
from datetime import datetime, timedelta
yesterday_timestamp = int((datetime.now() - timedelta(1)).timestamp())

result = api_client.google_maps_reviews(
    'ChIJrc9T9fpYwokRdvjYRHT8nI4', sort='newest', cutoff=yesterday_timestamp, reviewsLimit=100, language='en')

結果出力（短縮）。

				
					{
  "name": "Memphis Seoul",
  "address": "569 Lincoln Pl, Brooklyn, NY 11238, \\u0421\\u043f\\u043e\\u043b\\u0443\\u0447\\u0435\\u043d\\u0456 \\u0428\\u0442\\u0430\\u0442\\u0438",
  "address_street": "569 Lincoln Pl",
  "owner_id": "100347822687163365487",
  "owner_link": "https://www.google.com/maps/contrib/100347822687163365487",
  ...
  "reviews_data": [
    {
      "google_id": "0x89c25bb5950fc305:0x330a88bf1482581d",
      "autor_link": "https://www.google.com/maps/contrib/112314095435657473333?hl=en-US",
      "autor_name": "Eliott Levy",
      "autor_id": "112314095435657473333",
      "review_text": "Very good local comfort fusion food ! \\nKimchi coleslaw !! Such an amazing idea !",
      "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s112314095435657473333!2s0x0:0x330a88bf1482581d?hl=en-US",
      "review_rating": 5,
      "review_timestamp": 1560692128,
      "review_datetime_utc": "06/16/2019 13:35:28",
      "review_likes": null
    },
    {
      "google_id": "0x89c25bb5950fc305:0x330a88bf1482581d",
      "autor_link": "https://www.google.com/maps/contrib/106144075337788507031?hl=en-US",
      "autor_name": "fenwar1",
      "autor_id": "106144075337788507031",
      "review_text": "Great wings with several kinds of hot sauce. The mac and cheese ramen is excellent.\\nUPDATE:\\nReturned later to try the meatloaf slider, a thick meaty slice  topped with slaw and a fantastic sauce- delicious. \\nConsider me a regular.\\ud83d\\udc4d",
      "review_link": "https://www.google.com/maps/reviews/data=!4m5!14m4!1m3!1m2!1s106144075337788507031!2s0x0:0x330a88bf1482581d?hl=en-US",
      "review_rating": 5,
      "review_timestamp": 1571100055,
      "review_datetime_utc": "10/15/2019 00:40:55",
      "review_likes": null
    },
    ...
  ]
}

よくある質問

最も頻繁な質問と回答

Google Maps Python seleniumからスクレイプする方法？

OutscraperのSDKのおかげで、Python SeleniumでGoogle Mapsのデータをスクレイピングすることが可能になりました。Outscraper Google Maps Places APIのドキュメントで何ができるかを確認してください。

seleniumを使ってGoogle mapを自動化できないか？

PythonとSeleniumを使って、Google Mapsのデータをスクレイピングする処理を自動化することが可能です。Outscraperでは Google Maps Places API とSDKがあり、この作業を簡略化することができます。

PythonでGoogle Mapsを自動化するには？

PythonとSeleniumを使って、Google Mapsのスクレイピングを自動化することが可能です。 Outscraper Google Maps Places API とSDKを使えば、最も簡単な方法でこれを実現することができます。

PythonとSeleniumでGoogle Mapsをスクレイピングする方法とは？

Vladが10月 4, 202110月 4, 2021に掲載

目次を見る

クローラーの製作に必要なもの

Google Maps Extractorを構築するためのステップバイステップのチュートリアル

ChromeDriverのダウンロードと保存

Selenium および Parsel パッケージのインストール

Webdriverの初期化と起動

Googleマップページのダウンロード

マップ検索のコンテンツを解析する

抽出が完了したらドライバーを停止する

結論と、スクレーパーのスケールアップと堅牢化のための推奨事項

並列運転

企業規模でGoogle Mapsをスクレイピングするための究極の方法

グーグルマップスクレイピングを最も簡単に始める方法

おまけ。Googleレビュースクレイピングを最も簡単に始める方法

よくある質問

ヴラド

0のコメント

コメントを残すコメントをキャンセル

Pyhton

PythonでGoogle Maps Placesをスクレイピングする方法とは？

Pyhton

Pythonで全てのGoogleレビューをスクレイピング

Public data is for everybody

PythonとSeleniumでGoogle Mapsをスクレイピングする方法とは？

Vladが10月 4, 202110月 4, 2021に掲載

目次を見る

クローラーの製作に必要なもの

Google Maps Extractorを構築するためのステップバイステップのチュートリアル

ChromeDriverのダウンロードと保存

Selenium および Parsel パッケージのインストール

Webdriverの初期化と起動

Googleマップページのダウンロード

マップ検索のコンテンツを解析する

抽出が完了したらドライバーを停止する

結論と、スクレーパーのスケールアップと堅牢化のための推奨事項

並列運転

企業規模でGoogle Mapsをスクレイピングするための究極の方法

グーグルマップスクレイピングを最も簡単に始める方法

おまけ。Googleレビュースクレイピングを最も簡単に始める方法

よくある質問

ヴラド

0のコメント

コメントを残す コメントをキャンセル

関連記事

Pyhton

PythonでGoogle Maps Placesをスクレイピングする方法とは？

Pyhton

Pythonで全てのGoogleレビューをスクレイピング

Public data is for everybody

コメントを残すコメントをキャンセル