今回開発した「オンデマンド行動検出」は、一般的な映像検索技術とは異なり、見つけたい行動を事前に定義してAIに学習させる手間が不要で、対象となる行動が映っている数秒の映像をサンプルとして与えるだけで、類似行動の検出が可能になる。また、被写体の向きに関わらず類似の行動を見つけ出すことができるため、一つの行動を検出するために複数のサンプル映像を与える必要がなくなる。これにより、運用者の負担を軽減し、より実用性の高い行動検出サービスを実現できるとしている。

　NECは今後、映像解析技術などを組み合わせた見守りソリューションや映像コンテンツ編集といった用途に向けて、本技術の実証実験を進めていくという。

技術の特長

　この技術は、サンプル映像に映っている人物の骨格構造を推定し、その骨格の変化をライブカメラの映像や映像アーカイブ内の動作と比較することで、類似する行動を高精度に検出する。これにより、以下の特長を有している。

数秒の映像を一つ与えるだけで、オンデマンドで行動を検出

　サンプル映像を与えるだけですぐに類似行動の検出が可能なため、従来想定していなかった要支援行動を容易に追加し、検出することが可能。また、本技術は様々な動作に対応でき、要支援行動だけではなく、昨今のコロナ対策で急速に関心が高まっている、アルコール消毒をする動作の把握にも応用できる。

被写体の向きや大きさが異なっても、類似の行動を検出

　本技術では、向きや大きさに依存しない特徴を取り出すことで、カメラに向かってボールを投げるなど、向きが異なる動作でも検出することを可能している。これにより、人物とカメラの位置関係を固定化することが難しい場合でも、目的の行動を検出することが可能となる。

ライブ映像からリアルタイムに行動を検出可能

　画像そのものではなく、画像から推定した骨格の形状（十数個の関節点）を基に行動を照合することで、従来技術よりも計算量を抑えることに成功したという。これにより、ライブカメラの映像から目的の行動をリアルタイムに検出したり、映像アーカイブから高速に検索したりすることが可能となった。