東芝は、工場やプラントなどのインフラ分野において、蓄積された機器の図面・仕様書や、点検・トラブル記録といった専門的な文書（以下、専門データ）を認識し、保守点検の効率化を実現する「文書理解AI」を開発した。

　同AIは、一般用語を習得した大規模な汎用言語モデルを教師モデルとして、教師モデルからの継承（モデル蒸留）で一般用語を学習すると同時に、別カリキュラムで専門用語も学習する小規模な特化言語モデル（生徒モデル）を生成（図1）。具体的には、教師モデルと生徒モデルそれぞれに、複数の単語を隠した同じ専門データを入力する。

　生徒モデルは、隠された単語の一般用語部分については教師モデルと同じ答えを出力するように学習し、隠された単語の専門用語部分については正解と同じ答えを出力するように学習。生徒モデルは、一般用語と専門用語を同時に学習することで、一般用語を忘却することなく専門用語を習得できるという。

　同社は、電力設備の保守点検記録に記載されたトラブルに関する表現を見つける言語解析試験（情報抽出タスク）において、同AIの有効性を検証。同AIで生成する生徒モデルの計算規模は、一から学習する大規模な汎用言語モデル（従来手法）の半分、学習時に使用する文書量は、従来手法の100分の1とした。

　試験の結果、同AIが、保守点検記録の中からトラブルが発生した機器の状況を示す「現象」や機器を修理するために保守員が実施した「対策」が記載された場所を、正解率89％で抽出できることを確認（図2）。この精度は、実用水準といわれる正解率90％に迫る高い精度で、一から学習する大規模な汎用言語モデル（従来手法）の学習時間1週間程度と比較し、同AIの学習時間は5時間（約97％削減）に短縮できることを確認したという。

　東芝は今後、保守点検の現場で記録された熟練者の知識を整理し活用することで、事後保全を迅速化するサービスの実現に向けて、2024年に同社グループ内の事業現場にて同AIの運用開始を目指す。また、研究開発を進め、将来的には同社グループ内外のインフラ設備における予防保全にも適用するとしている（図3）。