本プロジェクトでは、言葉による指示によってロボットが作業に必要な動作の一覧を生成するアルゴリズム開発と、生成された動作を、人と身体性が異なるロボットの動作に自動で変換しロボットを制御する技術の構築を目指すという。

　具体的には、作業工程の写真や、実際に人間が作業している動画をもとに、機械学習によって自然言語指示と動作環境の情報から、「初期状態」を「指示内容を実行した後の状態」にするという動作の“意図”を形成し、作業に必要となる動作を生成するアルゴリズム開発を実施するとしている。

　また、人とロボットの身体性の違いによる影響を解決するために、「道具の使い方」に着目。複数の作業動画における、人が道具を使っているシーンから学習し、たとえばニンジンの皮を剥く際のピーラーの当て方といった、道具の使い方や力加減を真似することでロボットアームの動作モデルの生成を目指すという。

　これらの研究を進めることで、人がロボットに言葉で指示するだけでロボットが自動的に取るべき動作を理解するほか、道具を使いながら作業を遂行できるようになり、ロボットの社会的意義をこれまで以上に高められる可能性があるとしている。