スクレイピング 【Python】スクレイピングで配慮している重要ポイント
スクレイピングや自動操作を禁止していないWEBサイトでも、配慮が必要と考えています。ページ読み込みにランダムで5～20秒ほど空けるといったサーバに優しいのはもちろんですが、他にもあります。それをしなければ、サイト運営者に配慮した作りにしなけ...
Pythonの使い方
スクレイピング 
Pythonの使い方 PythonでMariaDBを操作するサンプル
MariaDBでDBを操作するサンプルを置いておきます。MariaDBと互換があるMySQLの方がシェアが高いのですが、流れはMariaDBにあります。よって、MariaDBの方にしました。MariaDBはMySQLから派生し、MySQLと...
Excel 【Python】openpyxlでエクセルの「定義された名前」から、セルの値を取得
openpyxlで、エクセルファイルからデータを取得するとき、エクセルの「定義された名前」で設定された名前で取得した方が都合が良いことがあります。import openpyxl wb = openpyxl.load_workbook('te...
Pythonの使い方 【簡単】Pythonによるスクレイピングのサンプル
スクレイピングのサンプルです。使用しているライブラリは、ドライバを経由してブラウザを操作するSeleniumになります。読み込んだHTMLの解析も、Seleniumでできます。Seleniumはブラウザを操作するため遅いのが欠点ですが、出来...
Pythonの使い方 【Python】スクレイピングで特定のtableタグだけを解析する方法
Pythonによるスクレイピングでテーブルデータを拾う場合、Pandasだけで済みます。Pandasにより、table要素内をDataFrameとして得られます。html内にtable要素が複数あると、table毎にDataFrameが生成...
Pythonの使い方 【Python】wavファイルを分割する方法 wavio
WAVファイルを特定のファイルサイズ(10Mバイト)で分割する必要があったので、切り出し方を探しました。WAVEモジュールを使ってファイルを読み込んでも、エラーが発生しました。そこで、wavioに切り替えて、読み込んでいます。WAVファイル...
Pythonの使い方 【Python】文字お越しのサンプル SpeechRecognitionを利用
WAVEファイルから文字をお越すサンプルです。動画から音声をWAVEで取り出した後、SpeechRecognitionで分析すると簡単に文字に起こすことができます。登録不要、無料で使えます。import speech_recognition...
スクレイピング 【Python】スクレイピング案件に使えるライブラリ3選
Pythonのスクレイピング案件に使えるライブラリ3選スクレイピングのライブラリは選択に迷う程あります。その中でも、業務で使うのにふさわしいものをピックアップしました。クライアントさんからの要求は開発中に変化するものなので、できるだけ対応し...