【Webスクレイピング】PythonとSeleniumでできることとは？

あぶちゃです。

このブログでは、AI×Pythonの力で日常をもっと便利にするアイデアを発信しています。

悩んでいる人

Webスクレイピングができるって噂のSeleniumの使い方を知りたい！

以上のような要望にお答えしていきます。

あなたが探している情報を効率的に収集したいと思ったことはありませんか？

この記事では、Webスクレイピングを簡単に実現できるPythonとSeleniumの使い方を初心者向けにわかりやすく解説します。

PythonとSeleniumを使ってWebページから簡単に情報を取得する方法や、ブラウザの自動操作、フォームの入力などを学ぶことができます。

この記事を読むことで、自分自身で簡単なWebスクレイピングプロジェクトを始めることができるようになりますので、ぜひ参考にしてください

Webスクレイピングとは？

Webスクレイピングとは、インターネット上のWebページから必要な情報を抽出・収集する技術です。

Webスクレイピング技術を使うことで、日常生活に関連するさまざまな情報（天気予報、ニュース、レシピ、イベント情報など）を効率的に集めることができます。

わかりやすく言うと、Webサイトを操作して、Webサイトに記載されているたくさんの情報から必要な情報(テキスト、画像や動画など)のみを自動的に抽出して取得するための技術になります。

Webスクレイピングを使用することによって、手動でデータを収集する場合に比べて非常に高速かつ大量にデータを収集することができます。

あぶちゃ

webスクレイピングは、かなり強力なツールにも関わらず、最近の技術の進歩により、簡単に実現できるようになりました。

Pythonには、Webスクレイピングに特化したライブラリがいくつかあり、それらを使うことで簡単に情報を取得できます。

Webスクレイピングに特化したPythonライブラリの違い

Webスクレイピング用のPythonライブラリ

Pythonで使われる人気のWebスクレイピング用のライブラリは、主に以下の3つです。

それぞれの違いについて解説していきます。

Selenium（セレニウム）

Webブラウザを操作することができるライブラリで、JavaScriptを扱うようなサイトに対してもスクレイピングが可能です。

ログインが必要なサイトや動的なコンテンツを取得する際に役立ちます。

ただ、他のライブラリに比べると、処理速度が遅いというデメリットがあります。

Beautiful Soup（ビューティフル・スープ）

「BeautifulSoup」は、HTMLやXMLの解析を行うライブラリで、Webページのソースコードを簡単に解析し、簡単にデータを抽出できます。

Webページのソースコードを簡単に解析し、特定のタグや属性を持つ要素を抽出できます。

ただし、Beautiful Soup自体はWebページの情報を取得する機能はありません。そのため、通常は次に紹介するRequestsと組み合わせて使用します。

Requests（リクエスト）

「requests」はPythonのHTTPライブラリで、WebサイトにアクセスしてHTMLデータを取得するのに使われます。

シンプルで直感的なAPIが特徴で、初心者にも扱いやすいです。

ただし、requests自体はスクレイピング機能を持っていないので、HTML解析を行う場合は先ほど紹介した「BeautifulSoup」などと組み合わせて使うことが一般的です。

例えば、気になるニュースサイトから最新記事のタイトルを取得する場合、まずはrequestsを使ってHTMLデータを取得し、次にBeautifulSoupで解析してタイトルを抽出するといった流れになります。

Seleniumを使ったWebスクレイピング

今回は、ログインが必要なサイトや動的なコンテンツを取得することができるSeleniumに関しての解説をしていきます。

Selenium公式サイト

Selenium

Selenium Seleniumはブラウザを自動化します。そうです！ その力で何をするかは完全にあなた次第です。 主にテスト目的でWebアプリケーションを自動化するためのものですが、それに…

Seleniumの主な機能

Seleniumの主な機能として、以下の3つの機能があります。

PythonとSeleniumを使ったWebスクレイピングの例

PythonとSeleniumを使うことでどのようなことが実現できるかを知ってもらうために、以下に、PythonとSeleniumを使ったWebスクレイピングの例をいくつか紹介します。

Seleniumを使う際の注意点

Seleniumを使う前に知っておくべき注意点を以下にまとめましたので、以下のことに気をつけてSeleniumを活用してください。

あぶちゃ

他のWebサイトに迷惑をかけないよう、適切にSeleniumを使いこなせるようになりましょう！

Seleniumを使うための事前準備と使用環境

Seleniumは、Google Chrome、Firefox、Safari、Microsoft Edge、Internet Explorerなど、多くのブラウザに対応しています。

あぶちゃ

今回は、多くの方が使用しているGoogle Chromeを使った方法をご紹介します。

Seleniumのインストール

以下のコマンドをターミナルで実行して、Seleniumをインストールしてください。

pip install selenium

google chromeドライバーの入手

Google Chromeドライバーは、SeleniumでChromeを制御するために必要になります。

Seleniumを使ってWebスクレイピングを行うために、以下の手順に従って、Chromeドライバーを入手してください。

Chromeのバージョンを確認する

現在、使用しているGoogle Chromeブラウザのバージョンを確認してください。

Chromeブラウザを開いて、右上にある縦三点リーダーをクリックし、「ヘルプ」→「Google Chromeについて」をクリックすることで確認できます。

google Chromeブラウザをインストールしていない方は、google chromeのダウンロードサイトからダウンロードをしてください。

Chromeドライバーのダウンロードリンクにアクセス

Chromeドライバーのサイトから自身のバージョンに対応するChromeドライバーのダウンロードリンクをクリックしてください。

最初の３桁が一致しているものを選んでください。

Chromeドライバーのダウンロード

自身のパソコンのOSに対応するzipファイルをダウンロードしてください。

Chromeドライバーをプログラムフォルダに配置する。

ダウンロードしたChromeドライバーを任意の場所に保存してください。

本記事の場合は、pythonファイルを保存した場所に保存しました。

あぶちゃ

コード内で、保存先のパスを定義できるようにしたので、自分がわかりやすい場所に保存していただいても大丈夫です。

Chromeドライバーへのアクセス権限の付与 (Macを使用している場合)

Macを使っているユーザーの場合、コードを実行した際に以下のエラーがでて、Chromeドライバーを使用できない可能性があります。

その場合は、「システム設定」→「プライバーとセキュリティ」の”セキュリティ”の項目の中に、以下の画像のようにChromeドライバーへのアクセスを許可する箇所がありますので、許可をすることでChromeドライバーが使用できるようになります。

googleアカウントのプロフィールパス取得

Seleniumを使ってgoogleにアクセスする際、googleアカウントを指定してあげないと以下の問題が発生します。

“Cookieの設定画面が表示されて、適切にchromeを制御できない

そこで、Cookieの設定が完了しているgoogleアカウントのプロフィールパスを取得して指定してあげましょう。

google アカウントのプロフィールパスの取得方法は以下になります。

あぶちゃ

取得したプロフィールのパスをコード内で指定しましょう。
もし、Cookieの表示が出てしまう場合は、一度、Cookieを許可してあげることで次から表示がでないようになります。

使用環境

今回、使用した作業環境は以下になります。

Seleniumの基本的な使い方

Webページ上の要素を取得する方法

Seleniumでは、以下のような標準のロケータ(ページ上の要素を識別する方法)を使って、Webページ上の要素を取得することができます。WebDriverには標準のロケータが8種類あります。

Seleniumの公式サイトで、ロケーターに関して説明されているページはこちら。

取得した要素に対して実行できる操作

Seleniumで取得した要素に対して、以下のような一般的な操作を実行できます。

要素に対して実行できる基本的なコマンドは5つになります。

Seleniumの公式サイトで、実行できる操作に関して説明されているページはこちら。

ブラウザでの要素確認方法

必要な情報の取得を自動化するために、Google Chromeの開発者ツールを使って、Webページ上の要素を確認し、Seleniumで要素を取得するための適切なロケータ(ページ上の要素を識別する方法)を見つける必要があります。

ブラウザでの要素確認方法は、以下になります。

Google Chromeを開く

まずは、Google Chromeを使用してWebページを開いてください。

開発者ツールを開く

次に、Google Chromeが提供している機能である開発者ツールを以下の方法で開く必要があります。

確認したい要素の選択

要素を選択できるモードを使用して、確認したい要素を選択します。

開発者ツールの左上のアイコン（矩形にマウスカーソル）をクリックすることで、要素を選択できるモードに移行できます。

そして、ページ上の要素をクリックすることで、要素を確認することができます。

選択した要素の確認

選択した要素の詳細が開発者ツールの「Elements」タブに表示されます。

ここで、ID、name、class、CSSセレクタ、XPathなどを確認することができます。

下図の画像のようにgoogleの検索窓を要素として選択した場合、検索窓の要素の詳細が開発者ツールの「Elements」タブに薄青色がついた形で表示されます。

SeleniumのPythonコード例

Seleniumを使った活用例として、以下の3つの活用方法でのPythonコードを示します。

あぶちゃ

以下のコードを参考にしながら色々と試してみましょう！

Webブラウザの自動化

まずは、Webブラウザの自動化するための基本的なPythonコードの例になります。

Google検索で「AI Life Hacks あぶちゃ」と検索し、最初の検索結果をクリックするPythonコードです。

23行目の「AI Life Hacks あぶちゃ」を別の言葉に変えることで、他の言葉で検索をすることができます。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

# chrome driverのパスを入力
chrome_driver_path = 'chrome driverを保存したフォルダのパスをいれてください'

# google アカウントのプロフィールパス定義
profile_path = "使用したいgoogle アカウントのプロフィールのパスを入力してください"

# google chrome プロフィールパス定義
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--user-data-dir="+profile_path)

# Chromeブラウザを開く
driver = webdriver.Chrome(executable_path=chrome_driver_path, options=chrome_options)

# Googleのトップページにアクセス
driver.get('https://www.google.com/')

# 検索ボックスを見つけて、キーワード「AI Life Hacks あぶちゃ」を入力
search_box = driver.find_element_by_name('q')
search_box.send_keys('AI Life Hacks あぶちゃ')
search_box.send_keys(Keys.RETURN)

# 検索結果が表示されるまで少し待つ
time.sleep(2)

# 最初の検索結果をクリック
first_result = driver.find_element_by_css_selector('.g a')
first_result.click()

Seliniumのコード解説【Webブラウザの自動化】

Webページのスクレイピング

次は、Webページのスクレイピングするための基本的なPythonコードの例になります。

WikipediaのPythonページにアクセスし、「概要」部分の最初の文章を取得するPythonコードです。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

# chrome driverのパスを入力
chrome_driver_path = 'chrome driverを保存したフォルダのパスをいれてください'

# google アカウントのプロフィールパス定義
profile_path = "使用したいgoogle アカウントのプロフィールのパスを入力してください"

# google chrome プロフィールパス定義
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--user-data-dir="+profile_path)

# Chromeブラウザを開く
driver = webdriver.Chrome(executable_path=chrome_driver_path, options=chrome_options)

# WikipediaのPythonページにアクセス
driver.get('https://ja.wikipedia.org/wiki/Python')

# 概要部分の要素を取得
summary = driver.find_elements_by_css_selector('#mw-content-text .mw-parser-output p')

# 概要テキストを出力
print(summary[2].text)

driver.close()

ページの内容が変わると、どうしても取得する内容が変わってきてしますので、活用する際は注意してください

フォームの自動操作

最後は、フォームの自動操作のための基本的なPythonコードの例になります。

ログイン画面にアクセスし、自動でログインに必要な情報を入力し、ログインするPythonコードになります。

ログインページは適当なURLになっていますので、実際にログインしたいURLに変えて試してみてください。

ログインページに応じて、「ユーザー名」、「パスワード」、「ログインボタン」の要素を取得できるようにコードを修正する必要があります。

あぶちゃ

少し意地悪ですが、ここは自分でやってみてください！

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# chrome driverのパスを入力
chrome_driver_path = 'chrome driverを保存したフォルダのパスをいれてください'

# google アカウントのプロフィールパス定義
profile_path = "使用したいgoogle アカウントのプロフィールのパスを入力してください"

# google chrome プロフィールパス定義
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--user-data-dir="+profile_path)

# Chromeブラウザを開く
driver = webdriver.Chrome(executable_path=chrome_driver_path, options=chrome_options)

# ログインページにアクセス
driver.get('https://example.com/login')

# ユーザー名入力欄を見つけて、ユーザー名を入力
username_box = driver.find_element_by_name('username')
username_box.send_keys('your_username')

# パスワード入力欄を見つけて、パスワードを入力
password_box = driver.find_element_by_name('password')
password_box.send_keys('your_password')

# ログインボタンを見つけて、クリック
login_button = driver.find_element_by_css_selector('.login-button')
login_button.click()

“最後に” PythonとSeleniumでできること | まとめ

本記事では、PythonとSeleniumを用いて、Webスクレイピングを実現する方法を解説しました。

本記事で紹介している内容とPythonコードにより、PythonとSeleniumを使ったWebスクレイピングの基本的な使い方を身につけることができましたか？

今回学んだ知識を活かして、あなたの日常生活や仕事に役立つ情報収集や自動化を実現してみてください！

以下の記事では、Seleniumを用いたWebスクレイピングにより、ブログの競合サイトを調べる自作ツールを作っていますので参考にしてみてください。ブログに興味がない方もより複雑なWebスクレイピングの方法を学ぶことができます。

未経験からのAI転職ブログ

【Webスクレイピング】Python自作ツールでブログの競合サイトを調査する方法 キーワード選定を効率化したい方必見! Webスクレイピング技術を用いて、Python自作ツールでブログの競合サイトを調査する方法を解説！ブログキーワード選定をする際の競合…

最後まで、お付き合いいただきまして、ありがとうございました。