こんにちは、モルフォリサーチャーの芳賀です。
1回目の記事では半教師有り学習の概要に始まり、ラベル有りデータとラベル無しデータを一度に学習に組み込むone-stage学習に焦点を当て、基本コンセプトである「consistency regularization」「entropy minimization」について具体的な手法を交えて紹介しました。
2回目の記事では最近に至るまでの数々の手法について紹介します。
続きを読むOculus Quest の Passthrough+ (疑似視点合成) の仕組み
CTO室で研究開発を担当している松尾と申します。 今回はいつもと若干毛色を変えて Virtual Reality (VR) 関係のトピックを紹介します。
画像分類タスクにおける半教師有り学習 第1回
こんにちは、モルフォリサーチャーの芳賀です。
一般に機械学習で精度の高いモデルを作るためにはドメインに応じたたくさんの学習データが必要となります。 しかし実際の業務においては、入力データは容易に集められてもアノテーションコストが問題になる場合があります。 「手元にたくさんデータはあるけどアノテーションが大変。」そういうときにアノテーションラベルが付いていなくても学習データとして使う手法の一つに半教師有り学習（Semi-Supervised Learning）というものがあります。
今回から3回に渡って、画像分類タスクにおいて半教師有り学習がどのように発展を遂げてきたかについて紹介します。
続きを読む（文献紹介）Depth Completionの最新動向
こんにちは、CTO室リサーチャーの角田です。
私は、今年４月に新卒としてモルフォに入社しました。３ヶ月の OJT が終了し、現在私は測距センサーの情報を用いることで画像処理品質を向上させるための研究開発に取り組んでいます。この分野では “Depth Completion”と呼ばれる手法の研究が行われています。研究の一環として、この“Depth Completion”に関連する論文調査を行いましたので、本エントリにて概要を紹介させて頂きます。
Depth Completion
近年のモバイル端末はカメラの進化が著しいですが、近年ではLiDARやToFといった測距センサーも搭載されており、それらにより画像に３次元的な情報を付与することができるようになりました。ただし測距センサーの弱点として
depthを部分的にしか測定できない
解像度が低い
という側面があり、RGB画像と同程度の情報を得るには至っていません。
そこで、測距センサーの出力をRGB画像並みに補完する"depth completion"という手法が近年盛んに研究されていまます。以下ではECCV2020に採択された以下の論文の概略と、実装を動かしてみた所感を紹介します。
続きを読む（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
こんにちは、CTO 室リサーチャーの三宅と申します。モルフォでは、学術論文の輪講を行う「ジャーナルクラブ」という有志による活動があります。今回は、このジャーナルクラブで発表した内容をご紹介いたします。画像処理では、複数の画像を入力としたときに「それらを映したカメラの動き」を推定する問題がさまざまな用途で重要になります。ある幾何的性質を満たした画像間でカメラの動きを記述するモデルはありますが、実際に我々が推定に用いる画像は、そのようなきれいな性質を満たしているとは限りません。難しい設定の最たる例が「動いている被写体を動いているカメラで映す」場合です。今回ご紹介する論文は、今年の CVPR で発表された、動被写体が映っているシーンでもきれいにカメラの動きを推定する深層学習手法について論じたものです。
続きを読む（文献紹介）Deep Unrolling: Learned ISTA (LISTA)
こんにちは。リサーチャーの長山です。今回は Deep Unrolling（あるいは Deep Unfolding、Algorithm Unrolling）と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
昨今のディープラーニング手法の発展はめざましく、コンピュータビジョンやパターン認識などの様々な画像処理応用で高いパフォーマンスを達成し、既存の多くのモデルベース解析手法を置き換えるに至っています。 物理プロセスに基づいてモデルや prior を手作業で設計する典型的なモデルベース手法と対照的に、ニューラルネットワークは現実データのサンプルから内部パラメータを決定することでモデルを推定します。そのため、潜在的なプロセスを正確に特徴づけられない場合でも、十分なパラメータ数と十分な訓練サンプルが揃えば、多くのケースでディープラーニング手法を適用することができます。 加えて、ディープラーニングには推論速度が速い利点もあります。モデルベース手法では反復アルゴリズムが広く利用されていますが、ディープラーニングが要求するレイヤー数は、同推論性能の反復アルゴリズムの反復数よりも格段に少なくて済みます。
その高いパフォーマンスの反面、ニューラルネットワークは汎用的なアーキテクチャを利用することが一般的なので、学習したパラメータから潜在的なモデルの構造を解釈することは非常に困難です。つまり、何が学習されていて、それぞれのパラメータは何を意味しているのかを人間が理解しやすい形で説明することは基本的に不可能です。このような解釈可能性の低い手法は、性能の限界や適切に動作する条件などを正確に見積もることが難しいので、高い信頼性が要求されるようなシステムへの応用で障害になりえます。
今回紹介する Deep Unrolling は、反復アルゴリズムをループ展開し学習スキームを導入することで、モデルベース手法の解釈可能性の高さとディープラーニング手法のパフォーマンスの高さを両立させたアーキテクチャです。スライドでは、まず辞書学習に基づく画像復元モデルを題材にスパースコーディングと反復アルゴリズムの Iterative Shrinkage/Thresholding Algorithm（ISTA）を説明します。続いて、基本的な Deep Unrolling アーキテクチャの Learned ISTA（LISTA）とその発展的手法（LISTA-CP、ALISTA）を紹介します。