ブログのスクレイピングの悩ましさ

　はてなブログの読者一覧でスクレイピングして読者のブログを訪問するようにしていますが、今朝のスクレイピングでエラーになるブログがありました。

　スクリプトにエラー処理を書き加えて問題のブログを特定し、ブラウザで訪問してみると、どうもデザインを一新されたようです。 そのデザインでの構成が今までにないパターンなので上手く項目を取り出すことが出来なかったというのが原因です。

　そもそもスクレイピングは相手側に断り無く想定外の処理をしているわけですから、何時デザインが変わるか知れたものではありません。 なのでいつ使えなくなってもおかしくない訳です。 でも、今朝はその一件のために全てのブログデータを出力出来なかったのは残念過ぎました。

　今までより効率よく読者のブログを巡回できるようになっていたので簡単に諦め辛いものが有ります。今回はエラーになるブログを無視する形で対応しました。

　新しいパターンに遭遇する度に対応すればよいのですが、その新しいブログのhtml構造を確認するだけでも結構負担になりますし、あまりに条件をいじくりまわしていると既に上手く行っているブログの条件にも悪影響が出る恐れもあります。悩ましいところです。

　正直言って、html文の階層構造をわかりやすく直す作業が面倒すぎなんです……。