【戯言】Webクローラ-octoparseを使ってみた…ワークフローが便利そう

昨今のクライアント型のWebクローラってどんなものだろうか？ということでoctoparseを使用してみたが、かなり分かりやすい仕組みになっており「すごいな」と思った。

自分でpythonゴリゴリと記述する気がおきなくなる。多くの人がデータを取得したくなるであろうサイトについてはテンプレートが用意されており蓄積系データを一括取得できるが、そういうサイトでなくてもURLを打ち込んで表示されたページを見ながらワークフローをカスタマイズして、欲しいデータが取得できるような仕組みになっている。その手の設定はわざわざoctoparseのWebブラウザをダウンロード/インストールする仕組みになっている。

デスクトップアプリケーション化しないと、その見たとおりに取得するということが実現できないからだろうか？

Webアプリケーションのインターフェースにしない理由がきっとあるんだろう。

RPAツールとかならデスクトップアプリケーション化するけど、WebクローラーであればWebアプリケーションの管理画面があればいいと思っていたが、そう事は単純にはいかないのかもしれないと改めて思った。