日本電信電話(以下、NTT)は、撮影された画像から照明条件によらない「真の色」である物体固有の反射率(アルベド)を推定する固有画像分解タスクにおいて、LiDAR反射強度を用いた手法を確立したと発表した。
今回確立した固有画像分解手法により、カメラなどで撮影された画像から影などの照明条件に依存した成分を取り除くことで、照明条件によらない物体固有の反射率(アルベド)を推定することが可能になるという。
これにより、撮影時における照明条件の影響を排除し、より高精度に認識できるほか、メタバース空間構築において、影が映っている画像からでも、影を排除し任意の日照条件を再現したメタバース空間を構築できるようになるとしている。
技術のポイントは以下のとおり。
LiDAR反射強度を利用
同技術では、固有画像分解の精度を向上させるため、太陽光の影響がないLiDARで計測した反射強度を利用することで、効率的な学習を実現。レーザー照射により能動的に計測するため、反射光計測時に取得できる反射強度(Intensity)が照明条件に依存しない情報としてアルベドを推定する有力な手掛かりとなることに着目したという。
従来技術と比較した際の優位性
従来の固有画像分解では、正解となるアルベド情報が付与されたCG画像から学習する方法(教師あり学習手法)や、事前知識をもとにアルベドらしさを反復学習させる方法(教師なし学習手法)などがあったが、実写画像での推定精度の低下や、日影とテクスチャの区別ができないなど、様々な問題があったとのこと。今回の提案手法では、LiDAR反射強度を併用することで日影とテクスチャを区別して学習でき、教師なし学習手法の中で最高精度を達成したとしている。
NTTは今後、画像認識やメタバース空間構築などにも適用し、高品質なサービスの確立に向け研究開発を推進していく予定だという。