読者です 読者をやめる 読者になる 読者になる

HTM 関連の文献まとめ

概要

HTM (Hierarchical Temporal Memory) は、Jeff Hawkins らが提唱した、大脳新皮質をモデル化したとされるアルゴリズムの総称です。
ベイジアンネットワークの一種である Zeta 1 アルゴリズムと、その後継である Cortical Learning Algorithm があります。 Jeff Hawkins は CLA が Zeta 1 の後継だという主張をしていますが、背後にある理論には結構隔たりがあるように感じます。
なお、ニューラルネットワークの一種らしいですが、Deep Learning とは別物です。

CLA のソースコードこちらで公開されています。

論文

Zeta 1 に関するもの

CLA に関するもの

SDR 関連

Spatical Pooling 関連

Temporal Pooling 関連

応用関連

スライド

  • Real-Time Streaming Data Analysis with HTM
    CLA と LSTM の比較等が行われた "Continuous online sequence learning ..." のスライド版です。論文にない図が追加されていたりもします。

サイト

  • NuPIC Wiki
    CLA の実装が行われている NuPIC の wiki ですが、CLA の理論関係なども載っています。HTM の研究をするなら目を通しておいたほうがよいかもしれません。
  • HTM theory reading list
    Numenta 公式の HTM Forum に載っている、英語のリーディングリストです。随時更新されているようなので、ときどきチェックすることをおすすめします。
  • HTM Cheat Sheet
    CLA の基本的な知識や、実装に関する情報がまとまっています。

書籍

  • On Intelligence
    HTM の生みの親である Jeff Hawkins が記した書籍です。初版は 2005 年と少し古いですが、読んでも損はしないと思います。
    邦訳も出ていますが2016年6月現在絶版になっているらしく、Amazon で中古本の売値が 9000 円を超えるという事態になっています。

動画

  • HTM School
    Numenta 公式が出しているシリーズです。CLA に用いられている SDR や、Encoder 等について、分かりやすく説明してくれています。CLA をこれから勉強しようという人なら、まずはこれから見ることをおすすめします。

おわりに

記事を読んで気になった点や、他に読んでおくべき文献などありましたら、コメントで教えていただけると幸いです。