こんにちは。2025年9月入社のハンです。
2025年9月の新人グループ研修には、Pradipto（プラディプト）、Vitto JEVANO（ヴィト ジェヴァノ）、范 致遠（ハン チエン）の3名が参加し、「Photogrammetry Toolkit VRデモツール」の開発に取り組みました。今回は、2か月間にわたる研修の内容についてご報告します。
こんにちは、リサーチャーの長山です。このたび、同じくリサーチャーのMorpho Korea 所属の李とともに著者として名を連ねた論文が IEEE Transactions on Computational Imaging（TCI）に掲載されました。本記事では、そのプロジェクトの背景と取り組みをご紹介します。前半はプロジェクトの経緯を、後半は技術的な手法の概要を説明します。専門的な内容に入る前に読み終えていただいても、記事としての流れは完結するよう構成しています。
スマートフォンのカメラが扱う色の範囲は、そのほとんどが sRGB という規格に最適化されています。sRGB は1990年代に標準化されたもので、当時のCRTモニターや Web での利用を前提に設計されました。問題は、人間の目が知覚できる色の範囲がこれよりもずっと広いことです。夕焼けや花の鮮やかさが「撮ったら何となくくすんでしまった」と感じるとき、その原因の一端はここにあります。
では、センサーの性能を上げ、より広い色域（たとえば映像業界が次世代標準として目指す BT.2020）に対応すれば解決するのかというと、話はそう単純ではありません。センサーが取得したデータは ISP（Image Signal Processor）で処理され、ディスプレイの色変換テーブルを経て初めて画面に映ります。この連鎖のどこかに不整合があれば、色の再現性はそこで損なわれます。さらに広色域化を進めると、ノイズやダイナミックレンジとのトレードオフが生じます。「見た通りの色を写す」は、構造的に難しい問題なのです。
私たちが向き合ったのも、まさにこの課題でした。アプローチとして選んだのは、RGB センサーにマルチスペクトルイメージングセンサー（MIS）を組み合わせるという方法です。センサーを増やすこと自体が目的ではなく、それぞれの得意領域を明確に分離し、空間構造と色再現を同時に最適化する。この考え方が、プロジェクト全体の出発点になりました。
きっかけは、社外の技術顧問との議論でした。顧問が示したロードマップは、私たちがそれまで手探りで進めていた方向性を整理し直すものでした。そのやり取りの中で、サムスン電子総合技術院（SAIT）との協業という可能性が具体的に見えてきました。
SAIT は基礎・先端技術の研究を担うサムスンの中枢機関であり、ハードウェア技術の蓄積は圧倒的です。一方、私たちが強みとするのは画像処理アルゴリズムの開発です。役割分担は自然に定まりました。SAIT がセンサーモジュールと実験環境を担い、私たちがアルゴリズム開発（特に位置合わせ・Registration と色融合・Fusion）を主導する形です。
テーマの選定にあたっては「実用性を軸にする」という共通指針がありました。学術的に新規性があるだけでなく、実際のモバイルカメラパイプラインに組み込める手法であることを、最初から意識して設計を進めました。
| 段階 | 期間 | 主な出来事 |
|---|---|---|
| 初期設定 | 2022年12月 | 協業合意、評価用 MIS モジュールの調達と実験環境の立ち上げ |
| アルゴリズム開発 | 2023〜2024年 | Demosaicing・Registration・Fusion のコアロジック実装と評価 |
| 論文投稿 | 2023年12月〜2024年9月 | IEEE TCI 投稿、計5回のリビジョンと補足実験 |
| 最終掲載 | 2026年1月 | IEEE Transactions on Computational Imaging（TCI）に採択・掲載 |
協業開始から掲載まで、およそ3年。長いようで、振り返ると密度の高い3年でした。
開発の中で特に時間を要したのが、データのやり取りです。SAIT が取得した実験データには厳格なセキュリティ要件が伴い、暗号化ルートでの受け渡しや移転審査のプロセスが発生しました。単純なファイル共有では済まない環境での開発は、それ自体が一つの設計課題でした。ただ、その過程で検証の精度が上がった側面もあり、結果として論文の再現性を高める助けになったと感じています。
論文投稿後も、査読を通じた5回のリビジョンは決して軽い作業ではありませんでした。再実験を求める指摘もあり、実装コストと再現性の両立をどう説明するかは、チーム全体で何度も議論しました。リビジョンのたびに論文の主張が整理され、最終的には当初より明快な形で成果をまとめることができたと思っています。
プロジェクト全体を通じて、隔週のミーティングと日常的なメールでのやり取りが、チームの熱量を維持する土台になりました。組織や国をまたいだ長期プロジェクトでは、技術と同じくらいコミュニケーション設計が開発の成否を左右すると、改めて実感しました。
この研究によって、RGB センサーと MIS を組み合わせた広色域（WCG）撮影システムの実現可能性を、実装レベルで示すことができました。単に色域を広げるだけでなく、既存の ISP パイプラインと共存できる設計であること。これが、学術的な新規性と実用上の意義を両立させた点です。
今後の展望としては、本稿で示した手法を実際のモバイルカメラパイプラインに統合するための設計、および BT.2020 カバレッジをさらに高める方向での検討を続けています。
本手法の基本的な考え方は、RGB と MIS の役割分担を明確にした上で統合するという点にあります。
それぞれの長所を活かし短所を補う形で、処理は以下の4段階で構成されます。
RGB センサーと MIS は物理的に異なる位置に配置されているため、両画像の間には視差（parallax）とフォーカス差が存在します。このズレを補正せずに色統合を行うと、エッジ周辺に偽色（color fringing）が発生します。
本手法では以下を組み合わせて対応しました。
また、対応点が存在しないオクルージョン領域も同時に推定します。これは後段の融合処理において、どの画素を信頼するかを制御するために使用します。
位置合わせ後、MIS の色情報を RGB に転送します。色空間は CIELAB を用い、輝度と色成分を分離します。
色転送は、局所領域ごとの統計量（平均・標準偏差）を一致させる線形変換として定義されます。各画素 に対して：
ただし、位置ずれやノイズの影響で偽色が生じうる領域では、転送結果をそのまま使うのではなく、画素ごとの信頼度 に基づいて元の RGB とブレンドします：
信頼度は主に以下の条件で制御されます。
この設計により、空間構造を損なわず、かつアーティファクトを抑制した広色域出力が得られます。
色再現の定量評価には ColorChecker を用い、光源・露光を統一した条件下で RGB 単体と RGB-MIS 融合の比較を行いました。
 |
 |
|---|---|
 |
 |
照明・撮像距離・露光の組み合わせを体系的に変えながら、広色域カラーキャリブレーションと照度制御を両立できるセットアップを構築しました。
論文情報
3年間のプロジェクトを通じて、私たちが得たのは論文掲載という成果だけではありません。異なる組織・文化・専門領域をまたいで一つの技術目標に向かうことの難しさと面白さを、身をもって経験しました。
今回築いたコミュニケーションの土台と技術的な知見は、モバイルカメラで「見た通りの色」を当たり前に撮れる世界に向けた、一つの確かな足がかりになったと思っています。技術パートで触れた手法の詳細については、掲載論文をご参照ください。
最後までお読みいただき、ありがとうございました。
2025年10月から3月にかけて株式会社モルフォでインターン活動を行った、樽谷遼太郎です。
視線推定(Gaze Estimation)とは赤外線やカメラなどのセンサを用いて眼球の回転角から視線ベクトルを求めるタスクです。本プロジェクトでは10万フレームを超える大規模な検証を行い、エッジデバイス上でのリアルタイム動作と、実用的な精度を両立させることができました。その手法について詳しくご紹介します。
はじめまして。2025年の11月から三か月間株式会社モルフォでインターンをしておりました、東京大学精密工学科三年の高木悠貴哉と申します。 今回は「AIを用いた自動手順書作成ツールの開発」というテーマのもと、近年話題となっているLLMを用いて作業記録から手順書を作成するアプリ開発に取り組みました。 この記事ではインターンシップを通して私が作成した成果物を紹介していきたいと思います
モルフォには、社員が自身の「やりたい（Will）」を起点として自律的に研究開発や業務改善に取り組むことを後押しする、「Will型開発」という独自の仕組みがあります。その一環として行われた「Will型アイデアハッカソン」にて、「画面録画による作業ログ探索」というテーマで試作された「Morpho Work Logger」というデモツールがあり、本テーマはそこから着想を得ました。
「Will型アイデアハッカソン」の開催レポートはこちら
続きを読むこんにちは。 2025年度入社のリサーチャーの安達です。 今回は、弊社で実施している新人グループ研修について報告します。
今年度の参加者は安達、周、ユガンダーの3名で、2か月間にわたりチーム開発を実施しました。 テーマは自然言語での画像レタッチングです。
続きを読む先日、日本ディープラーニング協会主催（JDLA）の「CVPR2025技術報告会」にてモルフォの技術者が登壇いたしました。本記事では、当日の資料を共有するとともに、その発表内容をダイジェストでお届けします。
CVPR（The IEEE / CVF Conference on Computer Vision and Pattern Recognition）は、コンピュータビジョン（画像認識技術）の分野で世界最高峰とされる国際学会です。昨年に引き続きまして、CVPRの重要性や、今年のトレンドの分析、モルフォの技術者が注目した分野や論文について詳しく解説しました。
続きを読むこんにちは。2024年10月入社のカエンと、11月入社のスウです。今年度の新人グループ研修について報告します。
弊社では2か月間のグループ研修を実施しています。今年度の参加者は陳 華炎（カエン）、鄒 宇傑（スウ）と趙 汝豪（ジョゴウ）の3名で、テーマは「Privacy-Preserving Camera（プライバシー保護カメラ）」です。
スマートフォンの普及によって、写真を撮るチャンスが大幅に増えてきました。しかし、イベントや取材、日常のスナップショットなどで第三者の顔が映り、意図せず拡散されることは少なくないと思います。このような状況では、映ってしまった画像や動画は加工・修正する必要がありますが、手動では手間がかかります。そのため、手軽に写真・動画撮影の際のプライバシーを保護できるようなアプリを開発したいと考えました。
この研修では、リアルタイムで顔をぼかせる処理の実装を目標とし、特に利用者が多いスマートフォンに向けて開発しました。
続きを読む