OJT 2022：depth mapを用いた画像のレイヤー分割＋エフェクト

　こんにちは。プロダクト開発部の中屋敷です。当社では毎年、新入社員でグループ研修を行います。今年度、私達が研修で作成したのが「画像のレイヤー分割」と「水彩画効果を用いた動画化」システムです。本記事では、このシステムの開発の目的や原理、実現したことについてご紹介いたします。

概要

　皆さんはデジタルで絵を書いたことはありますか？デジタルではアナログと違い、元に戻したりコピーしたりと便利な機能がありますが、その中でも特に重要なのがレイヤー機能です。風景・人・犬といった描写物を別々の透明フィルムに書き込み、それらを重ね合わせることで一枚の絵とするものです。このレイヤー機能により、人のポーズを変えたり位置を動かしたりしても背景を書き換える必要がないため、非常に便利なものとなっています。

　そしてもう一つ、撮った写真を加工することも身近になってきました。文字やスタンプでデコるだけでなく、写りこんだ人を消したり、逆に人を増やしたり。ですが、単に写真の上に追加するだけならともかく、加工をしようとすると途端に難しくなります。（柵の奥に人を追加しようとすると切り抜きが大変ですし、中にはスタイルを良くしようと加工したら背景の人が歪んでしまったなんてケースも・・・）

　そこで私達は、写真を複数のレイヤーに分割できれば様々な加工処理が楽になるのではと考え、これを実現するシステムを開発しました。 加えて、この分割結果を用いることで面白いエフェクトも実現しましたのでご紹介します。

HiPPO/S4解説

こんにちは、CTO室リサーチャーの角田です。

社内では毎週金曜日に持ち回りで論文紹介を行うjournal clubという活動を行っております。そちらで私が発表した以下３本の論文

• HiPPO: Recurrent Memory with Optimal Polynomial Projections (NeurIPS 2020 Spotlight)
• Combining Recurrent, Convolutional, and Continuous-time Models with the Linear State Space Layer (NeurIPS 2021)
• Efficiently Modeling Long Sequences with Structured State Spaces (ICLR 2022 Oral)

について、内容が非常に優れていると判断した＆詳細な日本語解説がほとんど存在しないことから、このブログにて外部公開することを決めました。

内容としては時系列モデリングについてですが、LSTMやTransformerとは全く切り口の異なる手法で、厳密な理論展開を踏まえてモデルを構成しSOTA性能をたたき出した素晴らしい論文です。

近年のディープラーニング系論文においては、ふんわりとした気持ちでモデルを作ってとにかく精度向上が見られたことでアイデアを正当化するケースが多いですが、ボトムアップに理論構成して狙った通りに圧倒的精度を出している点で、この論文群は非常に稀有な存在だと認識しています。

もし同様の論文を読もうとされている方がいらっしゃれば、このスライドが助けになれば幸いです。また識者の方におきましては内容の誤り等ありましたら指摘いただけますと大変参考になります。

HiPPO/S4解説 from Morpho, Inc.

CVPR 2021 参加報告

　こんにちは、2021年4月に入社したCTO室リサーチャーの名古屋です。

　私たちが働く株式会社モルフォでは毎年、国内外を問わず画像処理・機械学習の学会や国際会議に積極的に参加しています。今回は私ともう2名の社内リサーチャーとで、6月19～25日に開催した「CVPR 2021」に参加してきました。

　この記事では、CVPRの概要と、個人的に気になった研究を3つピックアップして紹介します。

インターンシップ 2021：エッジを用いた Inpainting

本記事は、2021年のインターンシップで勤務した高橋直暉さんによる寄稿です。

---

はじめまして。株式会社モルフォでインターンをしていた高橋です。私のインターンシップでは、画像生成タスクの一つであるImage Inpaintingに取り組みました。このタスクは、毎年新しい手法が提案されており、近年では深層学習を導入した手法が主流です。今回は、シンプルで軽量なエッジ情報を用いたImage Inpainting手法[1]の改良に取り組みました。この記事では、インターンシップを通して得られた成果を紹介していきたいと思います。

ICML 2021 参加報告

こんにちは、CTO室リサーチャーの長山と申します。

モルフォでは最先端の画像処理・機械学習に関する研究のキャッチアップのため、国内外問わず毎年各種学会に技術系の社員を派遣しています。今回は機械学習の国際会議「International Conference on Machine Learning 2021（ICML 2021）」に長山と、同じくCTO室リサーチャーの鈴木・中川で参加しました。本投稿では、はじめに学会の概要について説明し、次に私が注目した論文3本を紹介します。

【無料トライアル公開中(~2021/12/31)】世界最速級推論エンジンSoftNeuroにおける高速化手法

こんにちは、プロダクト開発部の平﨑です。

今回は、弊社製品SoftNeuro®における推論処理の高速化手法についてご紹介します。 なお、現在SoftNeuroの無料トライアル版が配布中です。

SoftNeuro概要

詳細は後程解説しますが、まずは、SoftNeuroの特徴をまとめた紹介動画をご覧下さい。

紹介動画の利用シーンからイメージいただけるかと思いますが、SoftNeuroはニューラルネットワークの推論を行うソフトウェアです。

ディープラーニング技術を使って、コンピュータに何らかのタスクを実行させる場合、大きく分けて2つの工程が必要になります。 それが「学習」と「推論」です。

「学習」とは目的とする推論を行うためのニューラルネットワークを作る工程です。

目的となるタスクに応じて適当な構造のネットワークモデルを選び、学習用のデータを大量に与えることで、適切な推論が行えるようなニューラルネットワークを作成します。

「推論」は「学習」の工程で作ったニューラルネットワークを実際に使う工程です。

利用したい環境に学習済みネットワークと推論処理を行うプログラムを導入し、入力された未知のデータが何であるか等の判断をさせます。 この推論処理を高速に行うためのソフトウェアがSoftNeuroです。

SoftNeuroの特徴は「あらゆる場所で高速に」動作することです。

SoftNeuroは、ネットワークモデルを保存する独自のファイル形式を採用していますが、様々な学習フレームワークからこの形式に変換するための機能が用意されています。

この形式に一度変換すれば、SoftNeuroが動作するどの環境でも即座に学習済みネットワークを利用した推論処理を実行することが可能となります。

さらにSoftNeuroは独自の高速化手法であるチューニングという機能を使うことで、あらゆる環境での高速な推論処理を実現しています。

今回の記事では、このチューニング機能についてご紹介していきます。

モルフォ35時間ルール

※この記事は、2021年５月25日に投稿した「Morpho's 35-hour Projects」の日本語版です。

　こんにちは。CTO室のシニアリサーチャーの茶民と申します。今回の記事では、各社員が業務時間中に自身の好きなプロジェクトを行えるモルフォの取り組みについてご紹介します。

　モルフォでの就業時間は一日平均7時間であり、月の合計で約161時間となります。モルフォでは、このうち20%の時間を各々の好きなプロジェクトの進行に割くことができます。プロジェクトの内容は、モルフォの業務に関係することであればなんでも構いません。月35時間の範囲内なら何をしても良いため、「35時間ルール」と呼ばれています。本業に影響しなければ会社のリソースを利用することもできます。弊社では2018年からこのルールを開始し、初めはエンジニアとリサーチャーのみのルールでしたが、今では全社員がこの35時間ルールで自分のプロジェクトを行うことができます。

　読者のみなさんは、「あれ、これってGoogleの20%ルールと同じじゃない？」と思ったかもしれません。そうです。Googleも社員に労働時間の20%までを各々のプロジェクトに割けるようルールを設けました。しかし元々は、あのポストイットの発明で有名な3Mが始めたものでした。1948年から、3Mは労働時間の15%を独立したプロジェクトに割くよう従業員に強いています。他の会社でも似たようなルールを設けているところもあります。マイクロソフトの「Garage」、ヤフーの「Hack Day」、アトラシアンの「20%プロジェクト」、アップルの「Blue Sky」などです。

　なんだか似たようなものがたくさんありそうですね。このような企業の取り組みについて書かれた本もありますので、もっと知りたい方はぜひ読んでみてください。