前景と背景の画像合成技術

CTO室所属の松尾です。今回は、撮影状況が異なる2枚の画像を合成することにより、背景画像に前景画像の物体を自然に合成する技術について紹介します。最近ではオンラインMTGなどで仮想背景を利用される方もいらっしゃるかもしれませんが、そのような状況でこの技術を活用することができます。

単純にはコピー & ペーストすれば合成結果を得ることができますが、人間の目には不自然に見える画像に仕上がってしまいます。これは

  1. 合成画像の境界部分での不連続性
  2. 背景画像と前景画像の合成対象領域とにおける画像特徴量の違い

などに原因があります。また、これら以外にも人間の感覚からすると不自然に感じられる場合もあります。これらのミスマッチを解消することによって違和感のない画像を生成することが可能になります。本稿では古典的な手法から最近提案された手法まで幅広く紹介していきます。

CVPR2019 物体検出の論文紹介 Heatmap系編

CVPR2019 物体検出 Heatmap系

こんにちは、CTO室の毛利です。
前回の記事では、CVPR2019で発表されたAnchor系の物体検出の論文を紹介しました。
今回は、CVPR2019の物体検出の論文の中で、Heatmap系(Anchor-free系)の手法を紹介したいと思います。

  • H. Law et al., "CornerNet: Detecting Objects as Paired Keypoints" (2018)
    • モチベーション
    • 手法概要
    • 手法: Corner検出
    • 手法: グループ化 (associative embedding)
    • 手法: sub-pixel regression
    • 手法: CornerPooling
    • 手法: 全体図
    • 感想・コメント
  • X. Zhou et al., "ExtremeNet: Bottom-Up Object Detection by Grouping Extreme and Center Points" (2019)
    • モチベーション
    • 手法: 概要
    • 手法: Keypoint Detection
    • 手法: Network構造
    • 手法: Center grouping
    • 手法: 後処理
    • 実験・感想
  • C. Zhu et al., "FSAF: Feature Selective Anchor-Free Module for Single-Shot Object Detection" (2019)
    • モチベーション
    • 手法概要
    • 手法: ネットワーク構造
    • 手法: Loss
    • 手法: Feature selection
    • 実験
    • 感想・コメント
  • 参考文献
続きを読む

CVPR2019 物体検出の論文紹介 Anchor系編

CVPR2019 物体検出論文紹介 Anchor系編 はじめまして、CTO室の毛利です。
弊社では毎年、画像処理・機械学習の国際会議に参加しております。 昨年は、私ともう1名でカリフォルニアのロングビーチで行われたInternational Conference on Machine Learning(ICML)とConference on Computer Vision and Pattern Recognition(CVPR)とに参加してきました。

今回から2回に分けて、CVPR2019で発表された物体検出の論文の中で、私が面白いと思ったものを紹介したいと思います*1。 初回では、はじめに物体検出の概要を説明し、次いでAnchor系の論文の紹介をします。 基本的に手法を中心に紹介し、実験結果については簡単な言及にとどめるので、気になった方は原論文を参照ください。

  • 物体検出の概要
    • データセット
    • 評価指標: mean Average Precision(mAP)
    • 手法の分類
  • Anchor系の手法概要
  • Y. He et al, "Bounding Box Regression With Uncertainty for Accurate Object Detection" (2018)
    • モチベーション
    • 手法: KL loss
      • 既存手法: 矩形位置のみ予測
      • 提案手法: 矩形位置に加えて、その不確実性を予測
    • 手法: variance voting
    • 実験
    • 感想・コメント
  • H. Rezatofighi et al., "Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression" (2019)
    • モチベーション
    • IoUの性質
    • Generalized IoU (GIoU)
    • 実験
    • 感想・コメント
  • 参考文献

*1:社内勉強会で発表した内容を修正して公開した記事になります

続きを読む

(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter

はじめまして、CTO室所属の芳賀と申します。 2019年に印刷機メーカー子会社からモルフォに転職して参りました。よろしくお願いいたします。

今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去(デノイジング)や、不要なテクスチャの除去(スムーシング)等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法*1と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。

Side Window Filter

Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896.

1つ目はCVPR2019のOral Sessionにて採択された論文です。Side Window Filter単体として使うものではなく、既存のフィルタに組み合わせて使うことで、たとえBox Filterであってもエッジ保存の品質を劇的に向上するフレームワークになっています。考え方自体は非常にシンプルで、注目画素周辺で定義できるいくつかのSide Windowというものを考え、それぞれでフィルタ処理した中からエッジがつぶれにくいものを選ぶというものになっています。単純なデノイジングだけでなく、HDR、テクスチャ除去、着色といったタスクにも幅広く応用できます。また、HDR処理などで通常発生してしまうアーティファクト等を抑制できる効果も期待できます。

Curvature Filter

Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-1798. 10.1109/TIP.2017.2658954.

次は、1つ目の論文の第二著者の論文です。Curvature Filterとは、ここでは画像の画素値データを2次元曲面と考え、各点での曲率や勾配を3×3の周辺画素の演算で近似して画像のロス*2をimplicitに減らしていくフィルタです。 スライドではガウス曲率に注目したGaussian Curvature Filterについて紹介したいと思います。ガウス曲率が局所的に0になるようにフィルタ処理することで、自然なデノイズ効果が得られるところが面白い点となります。論文ではほかにも平均曲率に注目したMean Curvature FilterやTV正則化の考えを適用したTV Filterも述べているので、気になった方は元論文を読んでみるといいかもしれません。

*1:TV最適化など

*2:モデルに対する画像のロスは、元画像との違いを表すdata-fitting項 { \displaystyle \mathcal{E}_{\Phi_0}} と、近づけたいモデルとの誤差を表す正則化項 { \displaystyle \mathcal{E}_{\Phi_1}} との和で表される。通常正則化項には係数 { \displaystyle \lambda} がかけられている。

Demosaicing

CTO室所属の山口です。最近は新型コロナウイルス関連の暗いニュースが多いですが、共に協力してこの危機を乗り越えていきましょう。

今回は写真撮影時の技術についてご紹介いたします。普段何気なく写真を撮影する際には意識しないことですが、カメラのイメージセンサーから取得される生データをそのまま見ることは難しく、実は多くの処理が施されて初めて人間が認識可能な画像を得ることができます。その中でも「デモザイキング(demosaicing)」と呼ばれる処理についてご紹介いたします。

カメラのイメージセンサーは、明るさしか捉えることができません。人間の目のように、色を認識することはできないのです。そのため実際のカメラではカラー画像を撮影するために次のような方法がとられています。

まずカメラに入ってきた光をフィルタに通すことで、赤色・緑色・青色の明るさのいずれかをメモリ上の別々の場所に記録します。その後、別々の場所に別々の色がある画像から、足りない色を補うことで3色のカラー画像を取得します。この足りない色を補う処理のことをデモザイキングと呼びます。今回は、数あるデモザイキングの手法の中でも高速に動作するものをご紹介いたします。

(文献紹介) HDR+, Night Sight

CTO室所属の松尾と申します。 技術者主体の情報発信の場として技術ブログを開設することにしました。 どうぞよろしくお願いします。

最近のスマートフォンには、夜景など僅かな明かりしか存在しない場合でも撮影が可能になるような機能が搭載され始めています。暗がりの撮影では、元の光量が少ないことに起因するノイズが⼤きな問題となるため、⻑時間の撮影と画像処理によるデノイズによって夜景の撮影を実現しています。本稿ではその中でもよく知られている Google Pixel ™ のNight Sight(夜景モード)の内部原理について紹介します。

HDR+

S.W. Hasinoff et. al, “Burst photography for high dynamic range and low-light imaging on mobile cameras”. Google Pixel ™ の撮影アルゴリズムのベースであるHDR+の元論⽂を紹介します。HDR+は 1. バースト撮影(同じ露光時間で撮影) 2. Bayer上で(周波数空間を利⽤した)デノイズ/合成が行われることが特徴的で、本稿ではそれらの処理を可能にする要素技術について紹介します。

Night Sight

O. Liba et. al, “Handheld Mobile Photography in Very Low Light”. 次に、⻑時間露光により夜間撮影でも昼間のような明るさで撮影を可能にする Night Sightの元論⽂を紹介します。ベースのアルゴリズムはHDR+とほぼ同じですが、Low Light⽤に特化した⼯夫が追加されています。本稿では露光時間の決定⽅法、ロバストな合成処理、デノイズ強度の⼯夫、および最終的な画像の味付けなどの要素技術について紹介します。