ログインが必要なサイトのページをまとめてキャプチャする方法
ログイン(認証)が必要なサイトのページを自動的に一括でキャプチャする方法についてです。
すぐに結論に行きますが、 Selenium や CasperJS ( PhantomJS )のキャプチャ機能を使えば認証が必要なサイトでもかんたんにキャプチャを取得することが可能です。
- Selenium - Web Browser Automation
- CasperJS, a navigation scripting and testing utility for PhantomJS and SlimerJS (ページ削除済み)
今回は CasperJS を使った場合のサンプルコードをご紹介します。
以下のコードをダウンロードし、 CasperJS をインストールして casperjs captureLoggedInPages.js
で実行すれば OK です。
実行前にファイルをエディタで開いて config のパラメータを変更して使います。
出力先ディレクトリのところなどをめちゃくちゃに設定すると思わぬ問題が発生しますので(既存のディレクトリを指定するなど)、使用する際は自己責任でお願いいたします(コード内でできるかぎりの説明をしているのでご参考に・・・)。
また、コード内にパスワードを書くことになるので、使い終わったらファイルを削除するかパスワードの部分を消すかなどするのがよいものと思います。
便利な時代ですね。
参考
- CasperJS, a navigation scripting and testing utility for PhantomJS and SlimerJS (ページ削除済み)