スクレイピング スクレイピング技術の利用で出来る事 用途例3選
情報収集が含まれる業務をしているのですが、もはやスクレイピングは欠かせないです。以前は1つ作る作業時間は20分でした。スクレイピングを利用している今は、わずか10秒～2分で済みます。何で早くなったかというと、利用前は複数の情報をWEBサイト...
Pythonの使い方
スクレイピング Excel 【Python】openpyxlとxlwingsとの比較
エクセルファイルの操作で使われるライブラリopenpyxlとxlwingsについて、参考となるように比較のまとめです。.NETでExcelを外部操作していたのですが、これまでの私個人の経験と異なる結果になっていました。また、書籍で受ける印象...
Pythonの使い方 【Python】LoggingとLoggerの使い方を簡潔にまとめました
ログ出力で使われるloggingを超簡単にまとめました。色々と詰め込みたいところですが、それを放棄して分かり易さを重点をおいています。このページに網羅性とかありません。詳細は、公式サイトを見ることをお勧めします。ここでは、ノーマルな使い方を...
Pythonの使い方 【Pandas】DataFrameの行抽出と削除のサンプル
PandasパッケージのDataFrameの行抽出と削除のサンプルです。加工前のDataFrameの値import pandas as pdimport numpy as npdf = pd.DataFrame( , , , ], inde...
Pythonの使い方 【Python】スクレイピングにおける要素特定は、XPathかCSSセレクターか
スクレイピングにおいて、HTML要素の特定する手段は、XPathとCSSセレクターの2つがあります。Pythonでスクレイピングを始めた当初、どっちで要素を特定するか迷いました。迷わないように参考になる情報をまとめておきました。XPathと...
Pythonの使い方 【Python】requestsを使った画像ファイルのダウンロードの失敗事例
画像ファイルのダウンロードの失敗事例です。明らかに画像取得目的の"User-Agent"でもって、数十回とリクエストしたところ、リクエストとは異なる画像ファイルが毎回送信されてくるようになりました。そして、"User-Agent"を設定し直...
Pythonの使い方 【Python】Seleniumで安全に画像保存する方法
Seleniumを使ったPythonによるスクレイピングで、イメージファイルをダウンロードをする方法です。ダウンロードのため、もう一回サーバにgetリクエストするのは無駄な気がしたので、ブラウザに表示されているものを保存します。Seleni...
Pythonの使い方 PythonでWordPressに投稿するサンプル【REST APIを利用】
WordPressの REST API を使って、Pythonによる記事の投稿と更新のサンプルです。タグの一覧の取得や追加もあります。記事投稿は、XML-RPC と REST API の二通りがあるのですが、このような理由で REST AP...
Pythonの使い方 【簡単】C#.NETからPythonを呼び出すサンプル
C#.NETからPythonのスクリプトファイルを実行するサンプルです。使用しているのはpythonnetです。他にクラスProcessでコントロールする方法もありますが、pythonnetの方が記述がすっきりしているので、こっちを使ってま...
Pythonの使い方 【Python】SeleniumのCSSセレクターの使い方
SeleniumでHTMLの要素を特定するCSSセレクターのサンプルです。ID名やClass名で要素を取得するメソッドがありますが、WEBページのデザイン変更時の変更が厄介です。コード量の増加は、不具合が入り込む可能性が高くなるからです。そ...