スクレイピング 【Python】スクレイピングで配慮している重要ポイント
スクレイピングや自動操作を禁止していないWEBサイトでも、配慮が必要と考えています。ページ読み込みにランダムで5～20秒ほど空けるといったサーバに優しいのはもちろんですが、他にもあります。それをしなければ、サイト運営者に配慮した作りにし...
Pythonの使い方
スクレイピング 
Pythonの使い方 PythonでMariaDBを操作するサンプル
MariaDBでDBを操作するサンプルを置いておきます。MariaDBと互換があるMySQLの方がシェアが高いのですが、流れはMariaDBにあります。よって、MariaDBの方にしました。
MariaDBはMySQLから...
Excel 【Python】openpyxlでエクセルの「定義された名前」から、セルの値を取得
openpyxlで、エクセルファイルからデータを取得するとき、エクセルの「定義された名前」で設定された名前で取得した方が都合が良いことがあります。
import openpyxl
wb = openpyxl.loa...
Pythonの使い方 【簡単】Pythonによるスクレイピングのサンプル
スクレイピングのサンプルです。使用しているライブラリは、ドライバを経由してブラウザを操作するSeleniumになります。読み込んだHTMLの解析も、Seleniumでできます。
Seleniumはブラウザを操作するため遅い...
Pythonの使い方 【Python】スクレイピングで特定のtableタグだけを解析する方法
Pythonによるスクレイピングでテーブルデータを拾う場合、Pandasだけで済みます。Pandasにより、table要素内をDataFrameとして得られます。html内にtable要素が複数あると、table毎にDataFrameが...
Pythonの使い方 【Python】wavファイルを分割する方法 wavio
WAVファイルを特定のファイルサイズ(10Mバイト)で分割する必要があったので、切り出し方を探しました。
WAVEモジュールを使ってファイルを読み込んでも、エラーが発生しました。そこで、wavioに切り替えて、読み込んでいます。
...
Pythonの使い方 【Python】文字お越しのサンプル SpeechRecognitionを利用
WAVEファイルから文字をお越すサンプルです。動画から音声をWAVEで取り出した後、SpeechRecognitionで分析すると簡単に文字に起こすことができます。登録不要、無料で使えます。
import speech_r...
スクレイピング 【Python】スクレイピング案件に使えるライブラリ3選
Pythonのスクレイピング案件に使えるライブラリ3選
スクレイピングのライブラリは選択に迷う程あります。その中でも、業務で使うのにふさわしいものをピックアップしました。クライアントさんからの要求は開発中に変化するものなので、でき...