HiPPO/S4解説

こんにちは、CTO室リサーチャーの角田です。

社内では毎週金曜日に持ち回りで論文紹介を行うjournal clubという活動を行っております。そちらで私が発表した以下3本の論文

  • HiPPO: Recurrent Memory with Optimal Polynomial Projections (NeurIPS 2020 Spotlight)
  • Combining Recurrent, Convolutional, and Continuous-time Models with the Linear State Space Layer (NeurIPS 2021)
  • Efficiently Modeling Long Sequences with Structured State Spaces (ICLR 2022 Oral)

について、内容が非常に優れていると判断した&詳細な日本語解説がほとんど存在しないことから、このブログにて外部公開することを決めました。

内容としては時系列モデリングについてですが、LSTMやTransformerとは全く切り口の異なる手法で、厳密な理論展開を踏まえてモデルを構成しSOTA性能をたたき出した素晴らしい論文です。

近年のディープラーニング系論文においては、ふんわりとした気持ちでモデルを作ってとにかく精度向上が見られたことでアイデアを正当化するケースが多いですが、ボトムアップに理論構成して狙った通りに圧倒的精度を出している点で、この論文群は非常に稀有な存在だと認識しています。

もし同様の論文を読もうとされている方がいらっしゃれば、このスライドが助けになれば幸いです。また識者の方におきましては内容の誤り等ありましたら指摘いただけますと大変参考になります。