【無料トライアル公開中(~2021/12/31)】世界最速級推論エンジンSoftNeuroにおける高速化手法

こんにちは、プロダクト開発部の平﨑です。

今回は、弊社製品SoftNeuro®における推論処理の高速化手法についてご紹介します。 なお、現在SoftNeuroの無料トライアル版が配布中です。

SoftNeuro概要

詳細は後程解説しますが、まずは、SoftNeuroの特徴をまとめた紹介動画をご覧下さい。

紹介動画の利用シーンからイメージいただけるかと思いますが、SoftNeuroはニューラルネットワークの推論を行うソフトウェアです。

ディープラーニング技術を使って、コンピュータに何らかのタスクを実行させる場合、大きく分けて2つの工程が必要になります。 それが「学習」と「推論」です。

「学習」とは目的とする推論を行うためのニューラルネットワークを作る工程です。

目的となるタスクに応じて適当な構造のネットワークモデルを選び、学習用のデータを大量に与えることで、適切な推論が行えるようなニューラルネットワークを作成します。

「推論」は「学習」の工程で作ったニューラルネットワークを実際に使う工程です。

利用したい環境に学習済みネットワークと推論処理を行うプログラムを導入し、入力された未知のデータが何であるか等の判断をさせます。 この推論処理を高速に行うためのソフトウェアがSoftNeuroです。

SoftNeuroの特徴は「あらゆる場所で高速に」動作することです。

SoftNeuroは、ネットワークモデルを保存する独自のファイル形式を採用していますが、様々な学習フレームワークからこの形式に変換するための機能が用意されています。

この形式に一度変換すれば、SoftNeuroが動作するどの環境でも即座に学習済みネットワークを利用した推論処理を実行することが可能となります。

さらにSoftNeuroは独自の高速化手法であるチューニングという機能を使うことで、あらゆる環境での高速な推論処理を実現しています。

今回の記事では、このチューニング機能についてご紹介していきます。

モルフォ35時間ルール

※この記事は、2021年５月25日に投稿した「Morpho's 35-hour Projects」の日本語版です。

　こんにちは。CTO室のシニアリサーチャーの茶民と申します。今回の記事では、各社員が業務時間中に自身の好きなプロジェクトを行えるモルフォの取り組みについてご紹介します。

　モルフォでの就業時間は一日平均7時間であり、月の合計で約161時間となります。モルフォでは、このうち20%の時間を各々の好きなプロジェクトの進行に割くことができます。プロジェクトの内容は、モルフォの業務に関係することであればなんでも構いません。月35時間の範囲内なら何をしても良いため、「35時間ルール」と呼ばれています。本業に影響しなければ会社のリソースを利用することもできます。弊社では2018年からこのルールを開始し、初めはエンジニアとリサーチャーのみのルールでしたが、今では全社員がこの35時間ルールで自分のプロジェクトを行うことができます。

　読者のみなさんは、「あれ、これってGoogleの20%ルールと同じじゃない？」と思ったかもしれません。そうです。Googleも社員に労働時間の20%までを各々のプロジェクトに割けるようルールを設けました。しかし元々は、あのポストイットの発明で有名な3Mが始めたものでした。1948年から、3Mは労働時間の15%を独立したプロジェクトに割くよう従業員に強いています。他の会社でも似たようなルールを設けているところもあります。マイクロソフトの「Garage」、ヤフーの「Hack Day」、アトラシアンの「20%プロジェクト」、アップルの「Blue Sky」などです。

　なんだか似たようなものがたくさんありそうですね。このような企業の取り組みについて書かれた本もありますので、もっと知りたい方はぜひ読んでみてください。

OJT2021：Vieureka を用いた三密判定と性格行動診断の同時推論「密カッター」

こんにちは、リサーチャーの鈴木です。今年度の新人研修で、私達のグループは「密カッター」というシステムを開発しました。本記事では、このシステムの開発の目的、および、本システムで実装されている要素技術についてご紹介いたします。

本研修ではPanasonic様の提供するIoTカメラ「Vieureka*1」を使用しました。

「密カッター」による三密判定＋性格行動診断

新型コロナウイルスの感染防止対策として「三密防止」が重要であることは言うまでもありません。「人が多数集まる密集状態」「換気が悪い密閉空間」「間近で会話や発声をする密接場面」を常時監視することは、店舗運営等において望ましい環境作りとなります。さらに、今後はワクチン接種後に戻ってくる顧客の傾向をいち早く掴んでマーケティングに活用するチャンスと考えることもできます。心理学の分野では人の行動傾向が姿勢に表れるという示唆があります。このような心理学的研究をうまく活用することで、カメラの映像から適切なマーケティングにつなげられる可能性があります。

私達は、これらの課題に対して、「密集検知」「密閉検知」「密接検知」「性格行動診断」の４つの機能を、ＡＩ搭載の監視カメラVieureka上に実装しました。そして、新人研修の成果物として、これら４つの機能を備える監視システム「密カッター」を開発しました。

*1:「Vieureka」および「Vieureka」ロゴはパナソニック株式会社の登録商標です。

OJT 2021 : Vieurekaを用いた駐車可能位置案内システム

　はじめまして、リサーチャーの木村と申します。私は本年4月に新卒としてモルフォに入社しました。

　今年の新人研修（OJT）において、私たちのチームは2ヶ月にわたってPanasonic様が提供するVieureka[^*1]というエッジデバイスを用いたアプリケーション開発を行いました。私たちのチームは、Vieureka を使った駐車可能位置案内システム ( Camera based Parking Guidance System ) を開発しました。この駐車可能位置案内システムは、Vieureka で撮影した駐車場の画像から車両検出により駐車場の空き状況を分析してWeb 上に簡易駐車場マップを表示し、駐車可能な位置の情報を提供するというものです。

　この記事では、このシステムを開発するに至った動機やシステムに使用している技術などについて紹介します。

(文献紹介) Google の COVID-19 感染予測

こんにちは、CTO室リサーチャーの富田です。 モルフォでは論文紹介を持ち回りで行うジャーナルクラブという活動がありますが、画像処理に関する論文に限らず、担当者が興味を持ったテーマについて紹介することもあります。Google Cloudが昨年公開した COVID-19 感染予測(US版、日本版) は大きな話題になりました。そのホワイトペーパーである "Interpretable Sequence Learning for COVID-19 Forecasting" についてこのジャーナルクラブで発表したので、こちらでもご紹介します。感染者などの時系列推移を学習するだけでなく、疫学の専門家や意思決定者による学習結果の解釈のしやすさを重視した手法となっています。

このホワイトペーパーは機械学習のトップカンファレンスとして知られる NeurIPS 2020 にacceptされていますが、疫学における感染症の数理モデルを大枠としており、意外にも？機械学習的な部分は非常に簡素な作りです。そのため本記事・スライドの前半はその疫学の数理モデルの紹介*1、後半が本論文の手法の紹介となっています。

*1:この部分についてはなるべく元の文献に沿う形にした上で他の文献にもいくつか当たるなどして正確を期す努力はしていますが、私は疫学のバックグラウンドはない(物理が専門でした)ことをお断りしておきます。

Morpho's 35-hour Projects

Hi everyone! I am Chamin, a senior boffin research engineer from Morpho's CTO Office. In this post, I will introduce Morpho's way of letting its members do their own fun projects during work time.

At Morpho, our designated work time is seven hours a day (averaged over the month). Depending on the number of working days in a month, this can result in up to 161 hours a month. Any full-time worker at Morpho is allowed to use up to 20% of this time on a personal project. So long as the project is somehow related to Morpho's business scope, any project idea is fine. If the project needs a bit more time, additional time can be used so long as the total does not exceed 35 hours a month (hence the name, the 35-hour project). Using company resources is fine, as long as it does not delay actual business work. We launched this initiative in 2018 for only the technical staff, and later expanded it to include all regular staff.

This is not exactly a new idea. I am sure most of you are going to say "Oh, like Google's 20% Project". At the turn of the century, Google allowed its workers to pursue personal projects using up to 20% of their paid work time. However, the concept has its origins at 3M, the company that is well-known for inventing the post-it note. Since 1948, 3M has made it mandatory for employees to use 15% of their work time for independent projects. Several other companies ran, or still have similar projects. Microsoft's Garage, Yahoo's Hack Day, Atlassian's 20% projects, and Apple's Blue Sky are some examples.

This is getting crowded, isn't it? There is even a book written about this kind of initiatives, if you want to read more about them.

（文献紹介）デブラー手法の紹介

こんにちは、CTO 室リサーチャーの三宅と申します。 モルフォでは、学術論文の輪講を行う「ジャーナルクラブ」という有志による活動があります。今回は、このジャーナルクラブで発表した内容をご紹介いたします。

イメージセンサーの露光中にカメラが動くことで、写真がボケてしまうことをモーションブラーといいます。モーションブラーは、スマホを手持ち撮影すると日常的に生じてしまう現象です。光学的な解決策のひとつとして、シャッタースピードを速くして露光時間を短くするというのがありますが、露光量が減るため今度はノイズが目立ってしまうというトレードオフがあります。したがって、画像処理によってモーションブラーを除去（デブラー）し、写真をきれいにする手法が必要になります。今回紹介するのは、古典的なモーションブラーモデルを変分ベイズによって解くことで、１枚の入力画像からデブラーを実現する手法 [1] 、そして、複数フレーム画像（動画）を入力として、より精度よくデブラーする深層学習モデルを使った手法 [2] です。

[1] Fergus, Rob, et al. "Removing camera shake from a single photograph." ACM SIGGRAPH 2006 Papers. 2006. 787-794.

[2] Zhong, Zhihang, et al. "Efficient spatio-temporal recurrent neural network for video deblurring." European Conference on Computer Vision. Springer, Cham, 2020.