CVPR 2020 参加報告 前編

こんにちは。CTO室リサーチャーの芳賀です。

モルフォでは最先端の画像処理・機械学習に関する研究のキャッチアップのため、国内外問わず毎年各種学会に技術系の社員を派遣しています。 今回は画像処理の国際学会である「CVPR 2020」に芳賀とCTO室の齋木で参加してきました。 今回は学会の概要、および私が注目した研究について紹介をしたいと思います。

記事は2回に分けて書いております。 前編として学会の概要と論文3本の紹介をします。 後編として論文4本の紹介と全体の感想を書く予定です。

ffmpeg コマンドラインツール入門 第3回

こんにちは、シニアリサーチャーの佐藤です。ffmpeg の記事はこれが最終回です。1回目の記事はこちら、2回目の記事はこちらです。

前回フィルタ処理の概略を説明したので、今回は具体的にどんなフィルタがあるのか、それらを組み合わせることでどんな処理が可能なのか、話したいと思います。では最後までお付き合いください。

ffmpeg コマンドラインツール入門 第2回

こんにちは、前回に引き続きシニアリサーチャーの佐藤です。

今回と次回は、ffmpeg のフィルタ処理についての話です。これを使えば、コマンドラインから様々な画像処理を動画に施すことができ、とても便利です。ただ、フィルタの記述方法は分かりにくいので、まずはどうやって使うのか、今回はその概要を伝えたいと思います。

なお、前回の記事はこちらです。

ffmpeg コマンドラインツール入門 第1回

はじめまして、株式会社モルフォのシニアリサーチャーの佐藤真希です。いつもと趣向を変えて、今回から3回にわたり ffmpeg というツールの使い方を紹介したいと思います。

ffmpeg というのは、動画ファイルの形式を変換したり、動画に画像処理を施したりすることができる高性能なフリーソフトです。動画処理技術の開発を行う上でなくてはならないもので、弊社でも広く使われています。（もちろん製品内部には使われていません。）とても高性能なのですが、使い方にクセがあって、検索してもまとまった情報を見つけるのがなかなか難しいのが現状です。

「ちょっと ffmpeg を使ってみたいけど、どうすればいいのか分からない」という人の役に立てばと思い、社内向けの資料の一部を公開します。なお、話を簡単にするために、以下のように限定された場合についてのみ考えます。

• 1つのファイルに動画ストリームが1つだけ含まれている
• 入力は YUV データで、色空間の変換は行わない
• 音声や字幕は考えない

COVID-19 Project 第1回

はじめまして。株式会社モルフォのソフトウェアエンジニア、平井駿と申します。

まずはこちらをご覧ください。

ゲームのプレイ画面

画面中央に出てきている数値が残り秒数で、数値がゼロになるまで手で顔を触らなければクリアとなります。 以下のページでプレイすることができます。是非アクセスしてみてください！

morphoinc.github.io

今回のブログエントリでは、このゲームを開発するに至ったきっかけ、目的、そして試行錯誤の過程を紹介します。

(文献紹介) マルチフレーム超解像の限界

はじめまして、CTO室所属の富田と申します。今回は、マルチフレーム超解像の限界について論じた文献を紹介します。

超解像とは、低解像度の画像から高解像度の画像を復元する技術を言います。超解像は、監視カメラ、内視鏡、スマートフォン、および、デジタルカメラに搭載されるデジタルズーム機能などに応用されています。昨年4月に、史上初めてブラックホールが撮影されて大きなニュースとなりましたが、この撮影にも超解像技術が使われています。

(文献紹介) 画像復元：Plug-and-Play ADMM

はじめまして、CTO室所属の長山と申します。今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。

画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識（Prior）を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。

制約付き最適化問題の解放として、ADMM（Alternating Direction Method of Multipliers; 交互方向乗数法）が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。

Plug-and-Play ADMM

S. H. Chan, X. Wang and O. A. Elgendy, "Plug-and-Play ADMM for Image Restoration: Fixed-Point Convergence and Applications," in IEEE Transactions on Computational Imaging, vol. 3, no. 1, pp. 84-98, March 2017, doi: 10.1109/TCI.2016.2629286.

従来の ADMM では、効率的に計算を行うために、更新式（部分問題の最適化）が単純である必要があり、画像復元応用では Prior の選び方に強い制約がかかります。 本論文で用いられる Plug-and-Play ADMM（PnP-ADMM）は、そのような制約を緩めて柔軟に Prior を扱うアルゴリズムです。

基本的なアイディアはとても単純で、Prior と更新式の因果関係を逆転させて考えます。 つまり、更新式を先に定めることで対応する Prior が（implicitに）導かれると解釈します。 その上で、この更新式をデノイザ（ノイズ除去アルゴリズム）とみなします。 この発想転換により、既存の高性能なデノイザ（BM3D, DnCNN, etc.）を画像復元問題に手軽に組み込めるようになります。

デノイザを選ぶ際にはアルゴリズムの収束性が問題になりますが、論文では広いクラスのデノイザで収束することを証明しています。 さらに、単一画像超解像への応用例をあげ、Deep Learning系アルゴリズムと比較しても高い性能を示すことを報告しています。

(文献紹介) 画像復元：Plug-and-Play ADMM from Morpho, Inc.