（文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter

文献紹介

はじめまして、CTO室所属の芳賀と申します。 2019年に印刷機メーカー子会社からモルフォに転職して参りました。よろしくお願いいたします。

今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去（デノイジング）や、不要なテクスチャの除去（スムーシング）等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法*1と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。

Side Window Filter

Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896.

1つ目はCVPR2019のOral Sessionにて採択された論文です。Side Window Filter単体として使うものではなく、既存のフィルタに組み合わせて使うことで、たとえBox Filterであってもエッジ保存の品質を劇的に向上するフレームワークになっています。考え方自体は非常にシンプルで、注目画素周辺で定義できるいくつかのSide Windowというものを考え、それぞれでフィルタ処理した中からエッジがつぶれにくいものを選ぶというものになっています。単純なデノイジングだけでなく、HDR、テクスチャ除去、着色といったタスクにも幅広く応用できます。また、HDR処理などで通常発生してしまうアーティファクト等を抑制できる効果も期待できます。

Curvature Filter

Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-1798. 10.1109/TIP.2017.2658954.

次は、1つ目の論文の第二著者の論文です。Curvature Filterとは、ここでは画像の画素値データを2次元曲面と考え、各点での曲率や勾配を3×3の周辺画素の演算で近似して画像のロス*2をimplicitに減らしていくフィルタです。 スライドではガウス曲率に注目したGaussian Curvature Filterについて紹介したいと思います。ガウス曲率が局所的に0になるようにフィルタ処理することで、自然なデノイズ効果が得られるところが面白い点となります。論文ではほかにも平均曲率に注目したMean Curvature FilterやTV正則化の考えを適用したTV Filterも述べているので、気になった方は元論文を読んでみるといいかもしれません。

*1:TV最適化など

*2:モデルに対する画像のロスは、元画像との違いを表すdata-fitting項 { \displaystyle \mathcal{E}_{\Phi_0}} と、近づけたいモデルとの誤差を表す正則化項 { \displaystyle \mathcal{E}_{\Phi_1}} との和で表される。通常正則化項には係数 { \displaystyle \lambda} がかけられている。

Demosaicing

文献紹介

CTO室所属の山口です。最近は新型コロナウイルス関連の暗いニュースが多いですが、共に協力してこの危機を乗り越えていきましょう。

今回は写真撮影時の技術についてご紹介いたします。普段何気なく写真を撮影する際には意識しないことですが、カメラのイメージセンサーから取得される生データをそのまま見ることは難しく、実は多くの処理が施されて初めて人間が認識可能な画像を得ることができます。その中でも「デモザイキング(demosaicing)」と呼ばれる処理についてご紹介いたします。

カメラのイメージセンサーは、明るさしか捉えることができません。人間の目のように、色を認識することはできないのです。そのため実際のカメラではカラー画像を撮影するために次のような方法がとられています。

まずカメラに入ってきた光をフィルタに通すことで、赤色・緑色・青色の明るさのいずれかをメモリ上の別々の場所に記録します。その後、別々の場所に別々の色がある画像から、足りない色を補うことで3色のカラー画像を取得します。この足りない色を補う処理のことをデモザイキングと呼びます。今回は、数あるデモザイキングの手法の中でも高速に動作するものをご紹介いたします。

(文献紹介) HDR+, Night Sight

文献紹介

CTO室所属の松尾と申します。 技術者主体の情報発信の場として技術ブログを開設することにしました。 どうぞよろしくお願いします。

最近のスマートフォンには、夜景など僅かな明かりしか存在しない場合でも撮影が可能になるような機能が搭載され始めています。暗がりの撮影では、元の光量が少ないことに起因するノイズが⼤きな問題となるため、⻑時間の撮影と画像処理によるデノイズによって夜景の撮影を実現しています。本稿ではその中でもよく知られている Google Pixel ™ のNight Sight(夜景モード)の内部原理について紹介します。

HDR+

S.W. Hasinoff et. al, “Burst photography for high dynamic range and low-light imaging on mobile cameras”. Google Pixel ™ の撮影アルゴリズムのベースであるHDR+の元論⽂を紹介します。HDR+は 1. バースト撮影（同じ露光時間で撮影） 2. Bayer上で（周波数空間を利⽤した）デノイズ/合成が行われることが特徴的で、本稿ではそれらの処理を可能にする要素技術について紹介します。

Night Sight

O. Liba et. al, “Handheld Mobile Photography in Very Low Light”. 次に、⻑時間露光により夜間撮影でも昼間のような明るさで撮影を可能にする Night Sightの元論⽂を紹介します。ベースのアルゴリズムはHDR+とほぼ同じですが、Low Light⽤に特化した⼯夫が追加されています。本稿では露光時間の決定⽅法、ロバストな合成処理、デノイズ強度の⼯夫、および最終的な画像の味付けなどの要素技術について紹介します。