Python

Pythonで自動化してみよう! スクレイピングに必須のChromeDriverとseleniumの導入

こちらの記事は次のようなことを知りたいという方に向けて書いています。

  • pythonでスクレイピングをしたいけど、準備に必要なことは?
  • スクレイピングをするにはChromeDriverとseleniumが必要と言われたけど何?
  • ChromeDriverとseleniumの導入方法を教えて!
まっすーです。中小企業診断士試験他多くの資格に、短期間で高得点で合格した実績をベースに数々の資格試験の合格アドバイスをしています。また、ITと会計に関する知識を元にしたコンサルティングが可能です。
今回は、python初心者に向けて、スクレイピングをするには必須となるChromeDriverとseleniumの導入方法をご説明しますね。

スクレイピングの準備

pythonでスクレイピングを準備するには、以下の準備をしておく必要があります。

pythonのインストール

まずはpythonのプログラムをインストールする必要があります。
もし、インストールされていない場合、手順は以下の記事で手順を詳しく書いていますのでこちらでご確認ください。

スクレイピングをおこなう場合は、自分のPCにインストールする必要があります。

パソコン初心者がPythonを使用する方法をやさしく解説!できることを理解して簡単セットアップでプログラムを作り始めようPythonって何?何ができるの?Pythonに興味があるけど使い方がわからない!どうやって使えばいいの?PythonをWindowsで使えるようにしたい!といった疑問に回答します。...

仮想環境のセットアップ

pythonを使っていくのであれば、仮想環境をセットアップしておいた方がいいです。
理由は、各プログラム間の干渉が内容にするためです。

こちらの記事で詳細を説明しています。

Python仮想環境おすすめ3選を紹介!初心者にもわかりやすくvenv・conda・virtualenvを説明しますこの記事ではPythonの仮想環境というのがあると聞いたんだけど何のこと?Pythonをインストールして、環境変数PATHの設定も終わったけど、すぐにプログラムを書き始めていいの?といった質問に回答しています。...

ChromeDriverとseleniumの導入

スクレイピングは、Webサイトを開いて、その中にあるHTMLタグなどから必要な情報を特定して、その情報を記録していく手法です。

そのためには、Webサイトを開いて自動で動かしていく技術が必要となります。これを簡単に実現できるのがChromeDriverとseleniumです。

もしこれらがない場合、相当複雑なプログラムを書かなければWebサイトを遷移させていくことは難しいです。

seleniumの導入方法

pythonでスクレイピングをする場合、requestsライブラリを利用して、簡単にWebサイトからデータを自動的に取得することができます。

ですがスクレイピングをしたいデータの対象によっては、ユーザIDやパスワードを入れてログイン認証しなければならない場合や、ボタンを押して次のデータを読み込みに行かなければならない場合があります。

そうした動的なWebサイトの制御に必要なライブラリがseleniumです。

seleniumの導入は非常に簡単です。
コマンドプロンプトで以下のコマンドを実行すればインストールが始まります。

このようなメッセージが出て、インストールが完了します。
これでseleniumの導入は完了です。

ChromeDriverの導入方法

ChromeDriverのダウンロード

ChromeDriverを使用するには、WebブラウザとしてChromeがインストールされていることが必須です。

Chromeのダウンロードについてはこちらのサイトで可能です。
Google Chromeダウンロードページ

また、インストール方法は以下のサイトをご参照ください。
Google Chrome をダウンロードしてインストールする

まず最初に、Chromeのバージョンを確認します。
Chromeを開いて右上のメニュー(点が縦に3つ並んでいるアイコン)→ヘルプ→Google Chromeについてをクリックします。

Google Chrome は最新版ですの表示の下にある、バージョンの数字の頭2桁をメモします。下の例の場合は88ですね。

次に、下のリンクを開いてChromeDriverをダウンロードします。

ファイルダウンロード:ChromeDriver – WebDriver for Chrome

Current Releasesの部分で、先ほどメモしたChromeのバージョンと同じ数字のリンクをクリックします。もしその数字が見当たらない場合は、スクロールして同じバージョンの数字のリンクを探してください。

使用しているOSに合ったファイルをクリックしてダウンロードします。
なお、Windowsであれば32bitでも64bitでもchromedriver_win32.zipで大丈夫です。

ChromeDriverの保存

先ほどダウンロードしたzipファイルを解凍すると、chromedriver.exeファイルが出てきます。

これを、Pythonフォルダの下に保存します、

これで、ChromeDriverを使用する準備はできました。

ChromeDriverのテスト

ChromeDriverが使えるかどうか、テストしてみましょう。
簡単ですが、以下のコードを実行してみます。

コマンドプロンプトでpythonをの仮想環境を起動します。

上のプログラムを実行します。すると、以下のような表示が出て、

Chromeが立ち上がって、Yahooのホームページが開きました。

「Chromeは自動テストソフトウェアによって制御されています。」という表示がChromeDriverで開かれた証です。

これでスクレイピングの準備はできました。自動化でいろいろな作業を便利にしていきましょう!

ここまでお読みいただきましてありがとうございました。

ABOUT ME
まっすー
中小企業診断士のまっすーです。 社会保険労務士やITストラテジストなど、多くの難関資格に合格した実績をベースとした資格試験の学習方法、ExcelマクロやPythonを活用した自動化の推進、経営に役立つ管理会計の理論解説、ITを活用した経営資源の有効活用などの情報を発信しています。
関連記事 Releated post

COMMENT

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA