Pythonの使い方 PythonとSeleniumをheadlessで動かしても速くならない理由
seleniumをheadlessモードで動かすと速くなると言われていますが、実際に測定したことがなかったので測定してみました。結果は、ヘッドレスモードで速くなるものの、現実的なWEBスクレイピングの運用では、ヘッドレスモードの恩恵を受け取...
Selenium
Pythonの使い方 Pythonの使い方 【Python】Seleniumが遅い原因と対処法【知らないとヤバい】
Seleniumでスクレイピングしていたのですが、解析するページ数が増すにつれて、遅さを無視できなくなりました。速くする方法は、言うまでものなく「Seleniumへのアクセスを減らせば速くなる」です。しかし、どのようなアクセスがどれだけ時間...
Pythonの使い方 【Python】Seleniumのタイムアウト設定の使い方
タイムアウトの設定って、使い方によってはスクレピングの無駄を省いてくれるのですが、情報が少なくピンと来ませんでした。seleniumの公式サイトを見ても、少しわかりづらいです。恐らく他の人もそうなんじゃないかと思って、参考になるように、日頃...
Pythonの使い方 【Python】SeleniumのCSSセレクターの使い方
SeleniumでHTMLの要素を特定するCSSセレクターのサンプルです。ID名やClass名で要素を取得するメソッドがありますが、WEBページのデザイン変更時の変更が厄介です。コード量の増加は、不具合が入り込む可能性が高くなるからです。そ...
スクレイピング 【Python】スクレイピングで配慮している重要ポイント
スクレイピングや自動操作を禁止していないWEBサイトでも、配慮が必要と考えています。ページ読み込みにランダムで5～20秒ほど空けるといったサーバに優しいのはもちろんですが、他にもあります。それをしなければ、サイト運営者に配慮した作りにしなけ...
Pythonの使い方 【簡単】Pythonによるスクレイピングのサンプル
スクレイピングのサンプルです。使用しているライブラリは、ドライバを経由してブラウザを操作するSeleniumになります。読み込んだHTMLの解析も、Seleniumでできます。Seleniumはブラウザを操作するため遅いのが欠点ですが、出来...