日本電気（以下、NEC）は、建設現場などに設置したカメラの映像から、複数の人物における多種多様な作業内容をリアルタイムで高精度に認識する技術を開発した。

　同技術では、人物や物体の視覚的特徴に加えて、作業内容を認識する上で重要な人物の姿勢特徴、物体の種別情報などの表現形式の異なる特徴間の関係性を統合的に解析。それぞれの作業内容の認識において、どの特徴が重要になるかを深層学習で適応的に重み付けする。これにより、建設現場のように多人数が行き交う混雑した環境においても、多種多様な作業内容を高精度に認識できるという。

　同技術の活用により、建設現場などの多数の作業者の作業内容を時系列でデジタル化して管理できるようになり、業務フローの効率化や人員リソースの最適配置などが期待されるとしている。

　技術の特徴は以下のとおり。

同時並行で多種多様な作業内容を認識可能

　建設現場などでは、多数の人物が大小様々な道具や重機を使用して、周辺の様々な対象物・環境に対し、様々な動作・姿勢で、作業が同時並行で行われる。同技術では、人物の視覚的特徴に加えて、人物の姿勢特徴、物体の種別情報、人物や物体の位置情報、人物の周辺環境の視覚的特徴などの表現形式の異なる特徴間の関係性を統合的に解析。これにより、建設現場で行われる「掘削」「転圧」「整地」「コンクリートならし」「コンクリート流し込み」「台車運搬」「鉄筋組み」などの作業内容を同時並行で認識できる。

多数の人物が密集した環境でもそれぞれの作業内容を安定的に認識

　多様な特徴間の関係性を統合的に解析する際に、どの特徴が重要になるかを深層学習で適応的に重み付けして解析することで、人の重なりなどにより一部の特徴が検知されない場合でも他の特徴で補完できる。また、多数の人物が密集した場合でも、位置情報を重視して人物と物体間の関係性を正確に捉えることが可能。これにより、建設現場のような多数の人物が行き交う混雑した環境においても、安定して作業内容を認識できるとしている。

　なお、NECは、大和ハウス工業と共同で、戸建て住宅の建設現場において同技術の実証実験を行った。その結果、「転圧」「根切・埋戻」「コンクリート打設」「鉄筋組み」などの複数の作業内容を正確に認識し、実際の現場作業者による各作業の作業時間を10％以内の誤差で推定することに成功したという。

　同社は今後、建設に加えて、製造・物流・小売などの様々な現場作業に対して同技術の検証を進め、2023年度の実用化を目指すとしている。