Pythonの使い方 seleniumによるHTMLの解析速度を10倍速くした方法
Seleniumでスクレイピングすると、サーバからHTML・CSS等をダウンロードする時間よりも、HTMLを解析する時間の方が長くなる傾向がありました。HTML解析をなんの工夫しないで実装すると、絶望的に長くなります。
で...
python
Pythonの使い方 
Pythonの使い方 【簡単】C#.NETからPythonを呼び出すサンプル
C#.NETからPythonのスクリプトファイルを実行するサンプルです。使用しているのはpythonnetです。他にクラスProcessでコントロールする方法もありますが、pythonnetの方が記述がすっきりしているので、こっちを使っ...
Pythonの使い方 【Python】SeleniumのCSSセレクターの使い方
SeleniumでHTMLの要素を特定するCSSセレクターのサンプルです。ID名やClass名で要素を取得するメソッドがありますが、WEBページのデザイン変更時の変更が厄介です。コード量の増加は、不具合が入り込む可能性が高くなるからです...
スクレイピング 【Python】スクレイピングで配慮している重要ポイント
スクレイピングや自動操作を禁止していないWEBサイトでも、配慮が必要と考えています。ページ読み込みにランダムで5～20秒ほど空けるといったサーバに優しいのはもちろんですが、他にもあります。それをしなければ、サイト運営者に配慮した作りにし...
Pythonの使い方 【簡単】Pythonによるスクレイピングのサンプル
スクレイピングのサンプルです。使用しているライブラリは、ドライバを経由してブラウザを操作するSeleniumになります。読み込んだHTMLの解析も、Seleniumでできます。
Seleniumはブラウザを操作するため遅い...
スクレイピング 【Python】スクレイピング案件に使えるライブラリ3選
Pythonのスクレイピング案件に使えるライブラリ3選
スクレイピングのライブラリは選択に迷う程あります。その中でも、業務で使うのにふさわしいものをピックアップしました。クライアントさんからの要求は開発中に変化するものなので、でき...