こんにちは、CTO 室リサーチャーの三宅と申します。モルフォでは、学術論文の輪講を行う「ジャーナルクラブ」という有志による活動があります。今回は、このジャーナルクラブで発表した内容をご紹介いたします。画像処理では、複数の画像を入力としたときに「それらを映したカメラの動き」を推定する問題がさまざまな用途で重要になります。ある幾何的性質を満たした画像間でカメラの動きを記述するモデルはありますが、実際に我々が推定に用いる画像は、そのようなきれいな性質を満たしているとは限りません。難しい設定の最たる例が「動いている被写体を動いているカメラで映す」場合です。今回ご紹介する論文は、今年の CVPR で発表された、動被写体が映っているシーンでもきれいにカメラの動きを推定する深層学習手法について論じたものです。
続きを読む（文献紹介）Deep Unrolling: Learned ISTA (LISTA)
こんにちは。リサーチャーの長山です。今回は Deep Unrolling（あるいは Deep Unfolding、Algorithm Unrolling）と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
昨今のディープラーニング手法の発展はめざましく、コンピュータビジョンやパターン認識などの様々な画像処理応用で高いパフォーマンスを達成し、既存の多くのモデルベース解析手法を置き換えるに至っています。 物理プロセスに基づいてモデルや prior を手作業で設計する典型的なモデルベース手法と対照的に、ニューラルネットワークは現実データのサンプルから内部パラメータを決定することでモデルを推定します。そのため、潜在的なプロセスを正確に特徴づけられない場合でも、十分なパラメータ数と十分な訓練サンプルが揃えば、多くのケースでディープラーニング手法を適用することができます。 加えて、ディープラーニングには推論速度が速い利点もあります。モデルベース手法では反復アルゴリズムが広く利用されていますが、ディープラーニングが要求するレイヤー数は、同推論性能の反復アルゴリズムの反復数よりも格段に少なくて済みます。
その高いパフォーマンスの反面、ニューラルネットワークは汎用的なアーキテクチャを利用することが一般的なので、学習したパラメータから潜在的なモデルの構造を解釈することは非常に困難です。つまり、何が学習されていて、それぞれのパラメータは何を意味しているのかを人間が理解しやすい形で説明することは基本的に不可能です。このような解釈可能性の低い手法は、性能の限界や適切に動作する条件などを正確に見積もることが難しいので、高い信頼性が要求されるようなシステムへの応用で障害になりえます。
今回紹介する Deep Unrolling は、反復アルゴリズムをループ展開し学習スキームを導入することで、モデルベース手法の解釈可能性の高さとディープラーニング手法のパフォーマンスの高さを両立させたアーキテクチャです。スライドでは、まず辞書学習に基づく画像復元モデルを題材にスパースコーディングと反復アルゴリズムの Iterative Shrinkage/Thresholding Algorithm（ISTA）を説明します。続いて、基本的な Deep Unrolling アーキテクチャの Learned ISTA（LISTA）とその発展的手法（LISTA-CP、ALISTA）を紹介します。
OJT2020：Vieureka を用いた 3D 人流モニタリング
はじめまして、リサーチャーの三宅と申します。 今年度の新人研修（OJT）において、Panasonic 様が提供する Vieureka *1というエッジ AI カメラデバイスを使用したアプリケーション開発を 2 か月間行いました。 tech.panasonic.com この記事では私たちのチームで開発した「Vieureka を用いた 3D 人流モニタリングシステム」の概要について紹介します。
*1:「Vieureka」および「Vieureka」ロゴはパナソニック株式会社の登録商標です。
OJT2020：Vieureka を用いた混雑状況の配信
はじめまして、リサーチャーの植田と申します。
今年の新人研修の一環として、Panasonic 様の提供する IoT カメラ Vieureka (VRK-C301) を使ったアプリケーションを自分たちで発案・設計・実装するという OJT 課題に挑戦しました。
私たちのチームでは Vieureka が設置された場所の混雑状況を可視化して Web 配信するというシステムを開発しました。 最近では COVID-19 の感染拡大防止のため密集・密接・密閉（いわゆる三密）を避けることが推奨されていますが、 ユーザの視点からは目的地が実際にどれほど混雑しているのか事前に把握しづらいという課題があります。 そこで私たちは、混雑状況をリアルタイムかつ視覚的に伝えるための Web 映像配信システムを、店舗など様々な場所で導入しやすい Vieureka を用いて実現することにしました。 このシステムでは単にカメラの映像をそのまま配信するのではなく、写っている人のプライバシーに配慮した形に変換するという工夫を行っています。 さらに、混雑状況を定量的に伝えるため混雑度のグラフ表示も実装しました。
こちらはその配信ページを録画したデモ動画です。
本稿ではこの Vieureka を用いた混雑状況の配信システムの詳細について紹介しています。
・「Vieureka」および「Vieureka」ロゴはパナソニック株式会社の登録商標です。
OJT2020：Vieurekaを用いた顔検出
はじめまして、リサーチャーの中村と申します。 私は本年4月に新卒としてモルフォに入社しました。
今年の新人研修（OJT）において、私達のチームは2ヶ月にわたってVieurekaカメラというエッジデバイスを用いたアプリケーション開発を行いました。 私達のチームでは、Vieurekaカメラ上で得られた顔認識結果をPCやクラウド上で共有することで遠隔でも玄関の状況や来訪者を知ることが出来るスマートインターホンを開発しました。 アプリケーションの構造を下の図に示します。
そこで本記事では、顔認証機能付きスマートインターホンの要素技術であるリアルタイム顔検出について紹介します。 特に、ここではアルゴリズムの詳細に踏み込むのではなく、エッジデバイス上での実行速度と検出精度のバランスに着目していきます。
続きを読むSelected Research Papers from ICCP 2020
Hi everyone! I am Chamin, a boffin researcher from Morpho's CTO Office. As members of Morpho's main R&D division, we regularly attend conferences on Computer Vision and Machine Learning. This helps us to keep in touch with the state of the art, and also gain insights to new research topics. So, one (sometimes a few) of us would attend a conference, summarize the interesting stuff, and share them with the colleagues.
ICIP 2020 - The 2020 International Conference on Computational Photography - was supposed to be held in St. Louis, USA. However, due to COVID-19 concerns, it was conducted as an online event. In this post, I will summarize a few interesting papers from this conference.
In Computational Photography, we investigate digital processing techniques that can replace or supplement optical processes that are used in taking pictures. Admittedly, that sounds more like rocket science than photography, so let me give you an example. Suppose you want to have a good bokeh effect in photos that you take with your smartphone. If you rely solely on optics to do this, you will end up with a thick phone that has a HUGE lens (expensive, hard to carry and maintain, etc.). Instead, the present-day smartphones use a couple of tiny cameras, other sensors, and computational photography techniques to provide a similar effect. Figure 0 is an example for such a photo, taken with an iPhone 11 Pro.
OK, so much for the introduction. The following are four of about a dozen ICCP 2020 papers that I summarized and shared with my colleagues. I hope you'll find them interesting.
続きを読む