こんにちは。リサーチャーの長山です。今回は Deep Unrolling（あるいは Deep Unfolding、Algorithm Unrolling）と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
昨今のディープラーニング手法の発展はめざましく、コンピュータビジョンやパターン認識などの様々な画像処理応用で高いパフォーマンスを達成し、既存の多くのモデルベース解析手法を置き換えるに至っています。 物理プロセスに基づいてモデルや prior を手作業で設計する典型的なモデルベース手法と対照的に、ニューラルネットワークは現実データのサンプルから内部パラメータを決定することでモデルを推定します。そのため、潜在的なプロセスを正確に特徴づけられない場合でも、十分なパラメータ数と十分な訓練サンプルが揃えば、多くのケースでディープラーニング手法を適用することができます。 加えて、ディープラーニングには推論速度が速い利点もあります。モデルベース手法では反復アルゴリズムが広く利用されていますが、ディープラーニングが要求するレイヤー数は、同推論性能の反復アルゴリズムの反復数よりも格段に少なくて済みます。
その高いパフォーマンスの反面、ニューラルネットワークは汎用的なアーキテクチャを利用することが一般的なので、学習したパラメータから潜在的なモデルの構造を解釈することは非常に困難です。つまり、何が学習されていて、それぞれのパラメータは何を意味しているのかを人間が理解しやすい形で説明することは基本的に不可能です。このような解釈可能性の低い手法は、性能の限界や適切に動作する条件などを正確に見積もることが難しいので、高い信頼性が要求されるようなシステムへの応用で障害になりえます。
今回紹介する Deep Unrolling は、反復アルゴリズムをループ展開し学習スキームを導入することで、モデルベース手法の解釈可能性の高さとディープラーニング手法のパフォーマンスの高さを両立させたアーキテクチャです。スライドでは、まず辞書学習に基づく画像復元モデルを題材にスパースコーディングと反復アルゴリズムの Iterative Shrinkage/Thresholding Algorithm（ISTA）を説明します。続いて、基本的な Deep Unrolling アーキテクチャの Learned ISTA（LISTA）とその発展的手法（LISTA-CP、ALISTA）を紹介します。
