こんにちは、シニアリサーチャーの佐藤です。ffmpeg の記事はこれが最終回です。1回目の記事はこちら、2回目の記事はこちらです。
前回フィルタ処理の概略を説明したので、今回は具体的にどんなフィルタがあるのか、それらを組み合わせることでどんな処理が可能なのか、話したいと思います。では最後までお付き合いください。
続きを読むはじめまして、株式会社モルフォのシニアリサーチャーの佐藤真希です。いつもと趣向を変えて、今回から3回にわたり ffmpeg というツールの使い方を紹介したいと思います。
ffmpeg というのは、動画ファイルの形式を変換したり、動画に画像処理を施したりすることができる高性能なフリーソフトです。動画処理技術の開発を行う上でなくてはならないもので、弊社でも広く使われています。(もちろん製品内部には使われていません。)とても高性能なのですが、使い方にクセがあって、検索してもまとまった情報を見つけるのがなかなか難しいのが現状です。
「ちょっと ffmpeg を使ってみたいけど、どうすればいいのか分からない」という人の役に立てばと思い、社内向けの資料の一部を公開します。なお、話を簡単にするために、以下のように限定された場合についてのみ考えます。
はじめまして。株式会社モルフォのソフトウェアエンジニア、平井駿と申します。
まずはこちらをご覧ください。
画面中央に出てきている数値が残り秒数で、数値がゼロになるまで手で顔を触らなければクリアとなります。 以下のページでプレイすることができます。是非アクセスしてみてください!
今回のブログエントリでは、このゲームを開発するに至ったきっかけ、目的、そして試行錯誤の過程を紹介します。
続きを読むはじめまして、CTO室所属の富田と申します。今回は、マルチフレーム超解像の限界について論じた文献を紹介します。
超解像とは、低解像度の画像から高解像度の画像を復元する技術を言います。超解像は、監視カメラ、内視鏡、スマートフォン、および、デジタルカメラに搭載されるデジタルズーム機能などに応用されています。昨年4月に、史上初めてブラックホールが撮影されて大きなニュースとなりましたが、この撮影にも超解像技術が使われています。
続きを読むはじめまして、CTO室所属の長山と申します。今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。
画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識(Prior)を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。
制約付き最適化問題の解放として、ADMM(Alternating Direction Method of Multipliers; 交互方向乗数法)が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。
従来の ADMM では、効率的に計算を行うために、更新式(部分問題の最適化)が単純である必要があり、画像復元応用では Prior の選び方に強い制約がかかります。 本論文で用いられる Plug-and-Play ADMM(PnP-ADMM)は、そのような制約を緩めて柔軟に Prior を扱うアルゴリズムです。
基本的なアイディアはとても単純で、Prior と更新式の因果関係を逆転させて考えます。 つまり、更新式を先に定めることで対応する Prior が(implicitに)導かれると解釈します。 その上で、この更新式をデノイザ(ノイズ除去アルゴリズム)とみなします。 この発想転換により、既存の高性能なデノイザ(BM3D, DnCNN, etc.)を画像復元問題に手軽に組み込めるようになります。
デノイザを選ぶ際にはアルゴリズムの収束性が問題になりますが、論文では広いクラスのデノイザで収束することを証明しています。 さらに、単一画像超解像への応用例をあげ、Deep Learning系アルゴリズムと比較しても高い性能を示すことを報告しています。
CTO室所属の松尾です。今回は、撮影状況が異なる2枚の画像を合成することにより、背景画像に前景画像の物体を自然に合成する技術について紹介します。最近ではオンラインMTGなどで仮想背景を利用される方もいらっしゃるかもしれませんが、そのような状況でこの技術を活用することができます。
単純にはコピー & ペーストすれば合成結果を得ることができますが、人間の目には不自然に見える画像に仕上がってしまいます。これは
などに原因があります。また、これら以外にも人間の感覚からすると不自然に感じられる場合もあります。これらのミスマッチを解消することによって違和感のない画像を生成することが可能になります。本稿では古典的な手法から最近提案された手法まで幅広く紹介していきます。