大日本印刷(以下、DNP)は、PDF、Wordなどの多様なドキュメントを生成AIの学習に適したデータ形式に整形する技術を開発した。同技術で整形したデータを生成AIが学習・参照することで、誤回答や非回答の件数を減らし、高い精度での回答を実現するという。
同技術は、テキスト・画像・表組などが混在したドキュメントから、独自のAIモデルを使ってタイトルや本文、画像や表の内容・キャプションなどの要素ごとにコンテンツを分割し、生成AIが学習・参照しやすいデータ形式に整形。データ整形は人手をほぼ介さずに機械処理で行うため、大量の文書も処理できるとしている。
複雑で異なるレイアウトやドキュメントに対応するためには、ドキュメントの構造を認識する継続したAIモデルの拡充が重要。DNPが開発したAIモデルは、一般的なディープラーニング(深層学習)のモデルでは数百~数千ページのデータ学習が必要となるところ、数十ページのデータ学習で生成AI向けのデータを整形できるという。
なお、DNPは今回、同技術を用いて、社内規定、品質マニュアル、決算短信などのドキュメントのデータを整形し、生成AIに学習・参照させて実証実験を行った。その結果、整形したデータを用いた生成AIは、従来の生成AIと比較して、誤回答を約90%削減できたとしている。
同社は2024年1月に、生成AIの導入や活用、生成AIに必要な学習データの加工・収集に課題を持つ企業・団体に向けて、同技術を提供するという。