HiPPO/S4解説

こんにちは、CTO室リサーチャーの角田です。

社内では毎週金曜日に持ち回りで論文紹介を行うjournal clubという活動を行っております。そちらで私が発表した以下３本の論文

• HiPPO: Recurrent Memory with Optimal Polynomial Projections (NeurIPS 2020 Spotlight)
• Combining Recurrent, Convolutional, and Continuous-time Models with the Linear State Space Layer (NeurIPS 2021)
• Efficiently Modeling Long Sequences with Structured State Spaces (ICLR 2022 Oral)

について、内容が非常に優れていると判断した＆詳細な日本語解説がほとんど存在しないことから、このブログにて外部公開することを決めました。

内容としては時系列モデリングについてですが、LSTMやTransformerとは全く切り口の異なる手法で、厳密な理論展開を踏まえてモデルを構成しSOTA性能をたたき出した素晴らしい論文です。

近年のディープラーニング系論文においては、ふんわりとした気持ちでモデルを作ってとにかく精度向上が見られたことでアイデアを正当化するケースが多いですが、ボトムアップに理論構成して狙った通りに圧倒的精度を出している点で、この論文群は非常に稀有な存在だと認識しています。

もし同様の論文を読もうとされている方がいらっしゃれば、このスライドが助けになれば幸いです。また識者の方におきましては内容の誤り等ありましたら指摘いただけますと大変参考になります。

HiPPO/S4解説 from Morpho, Inc.

CVPR 2021 参加報告

　こんにちは、2021年4月に入社したCTO室リサーチャーの名古屋です。

　私たちが働く株式会社モルフォでは毎年、国内外を問わず画像処理・機械学習の学会や国際会議に積極的に参加しています。今回は私ともう2名の社内リサーチャーとで、6月19～25日に開催した「CVPR 2021」に参加してきました。

　この記事では、CVPRの概要と、個人的に気になった研究を3つピックアップして紹介します。

インターンシップ 2021：エッジを用いた Inpainting

本記事は、2021年のインターンシップで勤務した高橋直暉さんによる寄稿です。

---

はじめまして。株式会社モルフォでインターンをしていた高橋です。私のインターンシップでは、画像生成タスクの一つであるImage Inpaintingに取り組みました。このタスクは、毎年新しい手法が提案されており、近年では深層学習を導入した手法が主流です。今回は、シンプルで軽量なエッジ情報を用いたImage Inpainting手法[1]の改良に取り組みました。この記事では、インターンシップを通して得られた成果を紹介していきたいと思います。

ICML 2021 参加報告

こんにちは、CTO室リサーチャーの長山と申します。

モルフォでは最先端の画像処理・機械学習に関する研究のキャッチアップのため、国内外問わず毎年各種学会に技術系の社員を派遣しています。今回は機械学習の国際会議「International Conference on Machine Learning 2021（ICML 2021）」に長山と、同じくCTO室リサーチャーの鈴木・中川で参加しました。本投稿では、はじめに学会の概要について説明し、次に私が注目した論文3本を紹介します。

【無料トライアル公開中(~2021/12/31)】世界最速級推論エンジンSoftNeuroにおける高速化手法

こんにちは、プロダクト開発部の平﨑です。

今回は、弊社製品SoftNeuro®における推論処理の高速化手法についてご紹介します。 なお、現在SoftNeuroの無料トライアル版が配布中です。

SoftNeuro概要

詳細は後程解説しますが、まずは、SoftNeuroの特徴をまとめた紹介動画をご覧下さい。

紹介動画の利用シーンからイメージいただけるかと思いますが、SoftNeuroはニューラルネットワークの推論を行うソフトウェアです。

ディープラーニング技術を使って、コンピュータに何らかのタスクを実行させる場合、大きく分けて2つの工程が必要になります。 それが「学習」と「推論」です。

「学習」とは目的とする推論を行うためのニューラルネットワークを作る工程です。

目的となるタスクに応じて適当な構造のネットワークモデルを選び、学習用のデータを大量に与えることで、適切な推論が行えるようなニューラルネットワークを作成します。

「推論」は「学習」の工程で作ったニューラルネットワークを実際に使う工程です。

利用したい環境に学習済みネットワークと推論処理を行うプログラムを導入し、入力された未知のデータが何であるか等の判断をさせます。 この推論処理を高速に行うためのソフトウェアがSoftNeuroです。

SoftNeuroの特徴は「あらゆる場所で高速に」動作することです。

SoftNeuroは、ネットワークモデルを保存する独自のファイル形式を採用していますが、様々な学習フレームワークからこの形式に変換するための機能が用意されています。

この形式に一度変換すれば、SoftNeuroが動作するどの環境でも即座に学習済みネットワークを利用した推論処理を実行することが可能となります。

さらにSoftNeuroは独自の高速化手法であるチューニングという機能を使うことで、あらゆる環境での高速な推論処理を実現しています。

今回の記事では、このチューニング機能についてご紹介していきます。

モルフォ35時間ルール

※この記事は、2021年５月25日に投稿した「Morpho's 35-hour Projects」の日本語版です。

　こんにちは。CTO室のシニアリサーチャーの茶民と申します。今回の記事では、各社員が業務時間中に自身の好きなプロジェクトを行えるモルフォの取り組みについてご紹介します。

　モルフォでの就業時間は一日平均7時間であり、月の合計で約161時間となります。モルフォでは、このうち20%の時間を各々の好きなプロジェクトの進行に割くことができます。プロジェクトの内容は、モルフォの業務に関係することであればなんでも構いません。月35時間の範囲内なら何をしても良いため、「35時間ルール」と呼ばれています。本業に影響しなければ会社のリソースを利用することもできます。弊社では2018年からこのルールを開始し、初めはエンジニアとリサーチャーのみのルールでしたが、今では全社員がこの35時間ルールで自分のプロジェクトを行うことができます。

　読者のみなさんは、「あれ、これってGoogleの20%ルールと同じじゃない？」と思ったかもしれません。そうです。Googleも社員に労働時間の20%までを各々のプロジェクトに割けるようルールを設けました。しかし元々は、あのポストイットの発明で有名な3Mが始めたものでした。1948年から、3Mは労働時間の15%を独立したプロジェクトに割くよう従業員に強いています。他の会社でも似たようなルールを設けているところもあります。マイクロソフトの「Garage」、ヤフーの「Hack Day」、アトラシアンの「20%プロジェクト」、アップルの「Blue Sky」などです。

　なんだか似たようなものがたくさんありそうですね。このような企業の取り組みについて書かれた本もありますので、もっと知りたい方はぜひ読んでみてください。

OJT2021：Vieureka を用いた三密判定と性格行動診断の同時推論「密カッター」

こんにちは、リサーチャーの鈴木です。今年度の新人研修で、私達のグループは「密カッター」というシステムを開発しました。本記事では、このシステムの開発の目的、および、本システムで実装されている要素技術についてご紹介いたします。

本研修ではPanasonic様の提供するIoTカメラ「Vieureka*1」を使用しました。

「密カッター」による三密判定＋性格行動診断

新型コロナウイルスの感染防止対策として「三密防止」が重要であることは言うまでもありません。「人が多数集まる密集状態」「換気が悪い密閉空間」「間近で会話や発声をする密接場面」を常時監視することは、店舗運営等において望ましい環境作りとなります。さらに、今後はワクチン接種後に戻ってくる顧客の傾向をいち早く掴んでマーケティングに活用するチャンスと考えることもできます。心理学の分野では人の行動傾向が姿勢に表れるという示唆があります。このような心理学的研究をうまく活用することで、カメラの映像から適切なマーケティングにつなげられる可能性があります。

私達は、これらの課題に対して、「密集検知」「密閉検知」「密接検知」「性格行動診断」の４つの機能を、ＡＩ搭載の監視カメラVieureka上に実装しました。そして、新人研修の成果物として、これら４つの機能を備える監視システム「密カッター」を開発しました。

*1:「Vieureka」および「Vieureka」ロゴはパナソニック株式会社の登録商標です。