背景
Webから情報収集するのに便利なRSSリーダー。ただ、サイトによってはRSSに対応していなかったり、望む形の情報でなかったりすることもあります。 色んな解決策があると思いますが、ここではRSSフィードを作ってくれるサイトを活用することで、 RSSがないサイトの更新情報を望む形の情報で自動取得する方法をまとめました。
フィードが無ければ作ればいいじゃない
RSSフィードを作成してくれるサイトはいくつかありますが、以下のサイトが比較的に作りやすかったです。 無料の場合は取得件数が5件と制限されていますが、最新情報の取得が目的なので特に問題なしです。 フィードの更新頻度もそれなりでした。
- Feed Creator · FiveFilters.org
Feed Creator で RSSフィードを作る
サイトに書いてあるとおりに入力するとRSSフィードを作成してくれます。
- 「Enter web page URL」に目的のサイトURLを入力
- 取得したい情報が格納されているHTML要素の id または class を確認(ブラウザの開発者機能などを利用)
- 「Look for links inside ~」にそれを入力
- 「Previw」ボタンを押下し、望む情報が得られるかを確認
- プレビュー内に表示される「RSS Feed」ボタンを押下する
詳細なパラメータを指定してRSSフィードを作る
簡単なサイトであれば先述の通りでいい感じのRSSフィードが得られますが、各HTML要素や id、class の記述のされかたによってはうまくいかない場合があります。 そんな場合はサイト中段にある「Request parameters」を参考に直接URLパラメータを編集し、細かく要素を指定するとうまくいく場合があります。 指定の方法はCSS セレクターにならうようです。
例えば T-Pot の公式サイトの記事一覧を取得する場合は以下のような組み立てです。
<パラメータ> url=https%3A%2F%2Fdtag-dev-sec.github.io%2F item=.article-item item_desc=.post-excerpt item_date=.post-meta <プレビュー用のURL> https://createfeed.fivefilters.org/index.php?url=https%3A%2F%2Fdtag-dev-sec.github.io%2F&item=.article-item&item_desc=.post-excerpt&item_date=.post-meta&action=Preview#results <RSSフィード用のURL> https://createfeed.fivefilters.org/extract.php?url=https%3A%2F%2Fdtag-dev-sec.github.io%2F&item=.article-item&item_desc=.post-excerpt&item_date=.post-meta
RSSフィードの作成サンプル
最後に、作成当時にRSSフィードがなかったサイトを作成サンプルとしていくつか載せます。 改めて見るとRSSあったりしました(当時も見つけられなかっただけかもしれません)。 もっと参考になるものがあればよかったのですが、思ったより単純なものしかありませんでした。
公的組織など
内閣サイバーセキュリティセンター (NISC)
- RSS :トップページある最新情報の一覧
サイバーポリスエージェンシー(@police)
- RSS :ページ下部の新着情報一覧
NICTER Blog(NotFound)RSS :記事一覧
企業のブログなど
コラム掲載お知らせ | NTTデータ先端技術株式会社
- RSS :記事一覧
Mozilla Foundation Security Advisories — Mozilla
- RSS :Mozillaセキュリティアドバイザリー一覧
Security Research | Fortinet Blog(NotFound)RSS :記事一覧
Blog: RSA Research & Innovation
- RSS :記事一覧
Unit 42 Archives - Palo Alto Networks Blog(NotFound)RSS :記事一覧
ツールの更新情報など
Tor Project | Privacy Online(NotFound)RSS :Recent Blog Posts
DTAG Community Honeypot Project
- RSS :記事一覧(主にT-Potリリース関連が目的)
更新履歴
- 2018-10-11 新規作成
- 2019-08-20 FiveFilters.org のリンクが誤っていたため修正
- 2019-08-21 一部記載を修正
- 2020-05-23 無効になっていた RSS へのリンクに取り消し線を付与しました。
- 2022-12-05 記載URLを http から https に修正