Pythonの使い方 seleniumによるHTMLの解析速度を10倍速くした方法
Seleniumでスクレイピングすると、サーバからHTML・CSS等をダウンロードする時間よりも、HTMLを解析する時間の方が長くなる傾向がありました。HTML解析をなんの工夫しないで実装すると、絶望的に長くなります。
で...
スクレイピング
Pythonの使い方 Pythonの使い方 PythonとSeleniumをheadlessで動かしても速くならない理由
seleniumをheadlessモードで動かすと速くなると言われていますが、実際に測定したことがなかったので測定してみました。
結果は、ヘッドレスモードで速くなるものの、現実的なWEBスクレイピングの運用では、ヘッドレス...
Pythonの使い方 【Python】SeleniumのCSSセレクターの使い方
SeleniumでHTMLの要素を特定するCSSセレクターのサンプルです。ID名やClass名で要素を取得するメソッドがありますが、WEBページのデザイン変更時の変更が厄介です。コード量の増加は、不具合が入り込む可能性が高くなるからです...
スクレイピング 【Python】スクレイピングで配慮している重要ポイント
スクレイピングや自動操作を禁止していないWEBサイトでも、配慮が必要と考えています。ページ読み込みにランダムで5～20秒ほど空けるといったサーバに優しいのはもちろんですが、他にもあります。それをしなければ、サイト運営者に配慮した作りにし...
スクレイピング 【Python】スクレイピング案件に使えるライブラリ3選
Pythonのスクレイピング案件に使えるライブラリ3選
スクレイピングのライブラリは選択に迷う程あります。その中でも、業務で使うのにふさわしいものをピックアップしました。クライアントさんからの要求は開発中に変化するものなので、でき...