テキストマイニングやディープラーニングを用いた動画データ解析技術により、講義動画内の音声データ（先生の声）や文字データ（黒板の文字）を簡単に検索できるようになる。これら機能の実証実験を、音声データ検索機能（2017年8月7日以降）、動画内テキスト検索機能（2017年9月末以降）の2回に分けて、ユーザー100名を対象に東京都新宿区にある『スタディサプリラボ』にて実施する。

ディープラーニングで動画データを“テキスト化”

今回、実証実験を行う「音声データ検索機能」と「動画内テキスト検索機能」は、リクルートテクノロジーズの研究開発機関であるアドバンスドテクノロジーラボにて開発されたもの。スタディサプリ講義動画内の音声データ（先生の声）や文字データ（黒板の文字）をテキスト化することにより、動画内にある「ユーザーが本当に見たいシーン」を簡単に検索できる機能の実現を目指すという。

また、今回の実証実験は、検索可能動画をスタディサプリが提供する講義動画1万本のうち高校3年生向けの理科・社会の講義に特化、かつ、対象ユーザーをスタディサプリのリアル校であるスタディサプリラボに属する受験生100名に限定して行われる。これまでの一般的な検索エンジンでは実現できなかった、キーワードから動画シーンを簡単に検索できる機能を提供することにより、ユーザーの効率的な学習をサポートすることを目指すという。

音声データ検索機能では、講義動画内の「先生の声」をキーワードで検索することができる。この機能では、音声をテキスト化する際に、スタディサプリの教育コンテンツ辞書を元にテキスト補正を行い、辞書を充実させればさせるほど、テキストマイニングの精度が向上する仕組みとなっており、より正確なテキスト生成が自動で行われるという。

講義動画内の“先生の声”を検索

8月7日より第一弾実証実験スタートでをおこなう。ユーザーは知りたいキーワードを入力し、それが実際に述べられている講義を検索することができる。キーワードは、途中まで入力すれば該当する候補が表示されるため、最後まで入力する必要はない。検索結果は、キーワードが発話された回数が多いものから順に並ぶ。自分が見たい講座・講義を選択してから動画再生画面と行き来することも可能。
動画再生画面では、キーワードが発話されているタイミングと周辺の音声がテキスト化されており、どこから再生するかを自由に選択することができる。また、キーワード入力箇所は動画再生画面上部にて常に表示されているため、動画再生中に気になったキーワードがあれば、その場で即座に検索することもできる。

第二弾実証実験では“黒板文字”を検索

第二弾の実証実験は、9月末に開始予定。そこで検証される動画内テキスト検索機能では、講義動画内の「黒板の文字」をキーワードで検索することができる。この機能は、文字認識モデル活用のディープラーニングにより講義中の黒板の文字を自動で認識、テキスト化することで、これまでにない自由で簡単なキーワード検索の実現を目指す。