はじめまして、CTO室所属の富田と申します。今回は、マルチフレーム超解像の限界について論じた文献を紹介します。
超解像とは、低解像度の画像から高解像度の画像を復元する技術を言います。超解像は、監視カメラ、内視鏡、スマートフォン、および、デジタルカメラに搭載されるデジタルズーム機能などに応用されています。昨年4月に、史上初めてブラックホールが撮影されて大きなニュースとなりましたが、この撮影にも超解像技術が使われています。
超解像の手法としては、使用する低解像度画像の枚数によって
- 1枚のみ使用: シングルフレーム超解像
- 複数枚使用: マルチフレーム超解像
に分かれます。シングルフレーム超解像の場合、元の画像に存在しない高周波成分を何らかの手法で推測する必要があります。最近はdeep learning で推測する手法が多い印象です。一方、マルチフレーム超解像の場合、複数枚の元画像から多くの情報が得られるため、このような推測に頼らずに復元が可能……なように直感的には思えます。しかしながら、実際にはそうではないというのが今回のお話になります。
Limits on Super-Resolution and How to Break Them
文献前半: マルチフレーム超解像の限界
本論文は前半パートと後半パートとに分かれています。前半パートは、理想的な状況におけるマルチフレーム超解像の限界を扱っており、ノイズなどのない理想的な場合であっても、拡大の倍率が上がるにつれて加速度的に復元が困難になっていくということを論じています。また、復元において高解像度画像に Prior (ある程度なめらかなど)が置かれますが、高倍率では結局この Prior の寄与が大部分となってしまうことも言及されています。
文献後半: 適切なPriorの構築例
後半パートは、画像の特徴量から各ピクセルに対して適切なPriorを設けることにより、高倍率でもそれらしい超解像を行えるアルゴリズムを提案しています。本論文は2002年に出版された文献ですが、すでに deep learning による手法と利点・問題点が似通っているのが興味深いです。
