(文献紹介) マルチフレーム超解像の限界

はじめまして、CTO室所属の富田と申します。今回は、マルチフレーム超解像の限界について論じた文献を紹介します。

超解像とは、低解像度の画像から高解像度の画像を復元する技術を言います。超解像は、監視カメラ、内視鏡、スマートフォン、および、デジタルカメラに搭載されるデジタルズーム機能などに応用されています。昨年4月に、史上初めてブラックホールが撮影されて大きなニュースとなりましたが、この撮影にも超解像技術が使われています。

(文献紹介) 画像復元：Plug-and-Play ADMM

はじめまして、CTO室所属の長山と申します。今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。

画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識（Prior）を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。

制約付き最適化問題の解放として、ADMM（Alternating Direction Method of Multipliers; 交互方向乗数法）が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。

Plug-and-Play ADMM

S. H. Chan, X. Wang and O. A. Elgendy, "Plug-and-Play ADMM for Image Restoration: Fixed-Point Convergence and Applications," in IEEE Transactions on Computational Imaging, vol. 3, no. 1, pp. 84-98, March 2017, doi: 10.1109/TCI.2016.2629286.

従来の ADMM では、効率的に計算を行うために、更新式（部分問題の最適化）が単純である必要があり、画像復元応用では Prior の選び方に強い制約がかかります。 本論文で用いられる Plug-and-Play ADMM（PnP-ADMM）は、そのような制約を緩めて柔軟に Prior を扱うアルゴリズムです。

基本的なアイディアはとても単純で、Prior と更新式の因果関係を逆転させて考えます。 つまり、更新式を先に定めることで対応する Prior が（implicitに）導かれると解釈します。 その上で、この更新式をデノイザ（ノイズ除去アルゴリズム）とみなします。 この発想転換により、既存の高性能なデノイザ（BM3D, DnCNN, etc.）を画像復元問題に手軽に組み込めるようになります。

デノイザを選ぶ際にはアルゴリズムの収束性が問題になりますが、論文では広いクラスのデノイザで収束することを証明しています。 さらに、単一画像超解像への応用例をあげ、Deep Learning系アルゴリズムと比較しても高い性能を示すことを報告しています。

(文献紹介) 画像復元：Plug-and-Play ADMM from Morpho, Inc.

前景と背景の画像合成技術

CTO室所属の松尾です。今回は、撮影状況が異なる2枚の画像を合成することにより、背景画像に前景画像の物体を自然に合成する技術について紹介します。最近ではオンラインMTGなどで仮想背景を利用される方もいらっしゃるかもしれませんが、そのような状況でこの技術を活用することができます。

単純にはコピー & ペーストすれば合成結果を得ることができますが、人間の目には不自然に見える画像に仕上がってしまいます。これは

1. 合成画像の境界部分での不連続性
2. 背景画像と前景画像の合成対象領域とにおける画像特徴量の違い

などに原因があります。また、これら以外にも人間の感覚からすると不自然に感じられる場合もあります。これらのミスマッチを解消することによって違和感のない画像を生成することが可能になります。本稿では古典的な手法から最近提案された手法まで幅広く紹介していきます。

前景と背景の画像合成技術 from Morpho, Inc.

CVPR2019 物体検出の論文紹介 Heatmap系編

こんにちは、CTO室の毛利です。
前回の記事では、CVPR2019で発表されたAnchor系の物体検出の論文を紹介しました。
今回は、CVPR2019の物体検出の論文の中で、Heatmap系(Anchor-free系)の手法を紹介したいと思います。

CVPR2019 物体検出の論文紹介 Anchor系編

はじめまして、CTO室の毛利です。
弊社では毎年、画像処理・機械学習の国際会議に参加しております。 昨年は、私ともう1名でカリフォルニアのロングビーチで行われたInternational Conference on Machine Learning(ICML)とConference on Computer Vision and Pattern Recognition(CVPR)とに参加してきました。

今回から2回に分けて、CVPR2019で発表された物体検出の論文の中で、私が面白いと思ったものを紹介したいと思います*1。 初回では、はじめに物体検出の概要を説明し、次いでAnchor系の論文の紹介をします。 基本的に手法を中心に紹介し、実験結果については簡単な言及にとどめるので、気になった方は原論文を参照ください。

*1:社内勉強会で発表した内容を修正して公開した記事になります

（文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter

はじめまして、CTO室所属の芳賀と申します。 2019年に印刷機メーカー子会社からモルフォに転職して参りました。よろしくお願いいたします。

今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去（デノイジング）や、不要なテクスチャの除去（スムーシング）等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法*1と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。

Side Window Filter

Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896.

1つ目はCVPR2019のOral Sessionにて採択された論文です。Side Window Filter単体として使うものではなく、既存のフィルタに組み合わせて使うことで、たとえBox Filterであってもエッジ保存の品質を劇的に向上するフレームワークになっています。考え方自体は非常にシンプルで、注目画素周辺で定義できるいくつかのSide Windowというものを考え、それぞれでフィルタ処理した中からエッジがつぶれにくいものを選ぶというものになっています。単純なデノイジングだけでなく、HDR、テクスチャ除去、着色といったタスクにも幅広く応用できます。また、HDR処理などで通常発生してしまうアーティファクト等を抑制できる効果も期待できます。

Curvature Filter

Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-1798. 10.1109/TIP.2017.2658954.

次は、1つ目の論文の第二著者の論文です。Curvature Filterとは、ここでは画像の画素値データを2次元曲面と考え、各点での曲率や勾配を3×3の周辺画素の演算で近似して画像のロス*2をimplicitに減らしていくフィルタです。 スライドではガウス曲率に注目したGaussian Curvature Filterについて紹介したいと思います。ガウス曲率が局所的に0になるようにフィルタ処理することで、自然なデノイズ効果が得られるところが面白い点となります。論文ではほかにも平均曲率に注目したMean Curvature FilterやTV正則化の考えを適用したTV Filterも述べているので、気になった方は元論文を読んでみるといいかもしれません。

（文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter from Morpho, Inc.

*1:TV最適化など

*2:モデルに対する画像のロスは、元画像との違いを表すdata-fitting項 と、近づけたいモデルとの誤差を表す正則化項 との和で表される。通常正則化項には係数 がかけられている。

Demosaicing

CTO室所属の山口です。最近は新型コロナウイルス関連の暗いニュースが多いですが、共に協力してこの危機を乗り越えていきましょう。

今回は写真撮影時の技術についてご紹介いたします。普段何気なく写真を撮影する際には意識しないことですが、カメラのイメージセンサーから取得される生データをそのまま見ることは難しく、実は多くの処理が施されて初めて人間が認識可能な画像を得ることができます。その中でも「デモザイキング(demosaicing)」と呼ばれる処理についてご紹介いたします。

カメラのイメージセンサーは、明るさしか捉えることができません。人間の目のように、色を認識することはできないのです。そのため実際のカメラではカラー画像を撮影するために次のような方法がとられています。

まずカメラに入ってきた光をフィルタに通すことで、赤色・緑色・青色の明るさのいずれかをメモリ上の別々の場所に記録します。その後、別々の場所に別々の色がある画像から、足りない色を補うことで3色のカラー画像を取得します。この足りない色を補う処理のことをデモザイキングと呼びます。今回は、数あるデモザイキングの手法の中でも高速に動作するものをご紹介いたします。

Demosaicing（デモザイキング） from Morpho, Inc.