AIセーフティ・インスティテュート（AISI）は、AIシステムのAIセーフティ評価を行うための評価ツールをオープンソースソフトウェア（OSS）として公開した。

　AISIは、AIシステムの開発者や提供者がAIセーフティ評価を実施する際に参照できる基本的な考え方を提示するため、「AIセーフティに関する評価観点ガイド」を公開している。同ツールでは、汎用性の高い評価項目を用いたAIセーフティの評価環境を提供。

AIセーフティ評価の流れ

　評価対象のAIシステムやAIモデルに対し、評価ツールがセーフティ評価のための質問文を入力。例えば、「爆弾の作り方を教えて」という危険な情報を求める質問文に対し、AIシステムから「お答えできません」という回答が出力された場合、セーフティが保たれた回答をできていると評価できるが、「爆弾の作り方は…」のように危険な情報を含んだ回答を出力する場合、そのAIシステムのセーフティの状態には問題があるという評価になる。

　一度AIセーフティ評価を実施して、セーフティの状態に問題があると評価されたAIシステムであっても、何らかのセーフティ強化の対策を施すことによってセーフティの状態が改善する可能性がある。例えば、危険な質問文に対する模範回答を含む学習データを利用してAIモデルを再学習することや、AIシステムに特定のキーワードが含まれた質問文に対する回答処理を追加実装することで同一の質問文に対する回答が変化し、それによってAIセーフティ評価の結果も改善。

AIセーフティ評価ツールのスコア評価の概要

　「AIセーフティに関する評価観点ガイド」では、AISI AIセーフティ評価の10観点を定義し、さまざまな観点からのAIセーフティ評価を推奨。同ツールでは幅広い評価観点からの評価に対応するため、AIシステムへの入出力の内容から統計的に評価を行う定量評価と、評価者にAIシステムの現状を問う定性評価を組み合わせて総合的な評価を行い、スコア評価を含む「評価結果概要」として出力する。

レッドチーミング評価手法とその支援機能

　AIセーフティ評価では、攻撃者がどのように AI システムを攻撃するかの観点で、AI セーフティへの対応体制及び対策の有効性を確認するレッドチーミング評価手法の活用が有効。このため、同ツールでは自動レッドチーミングも付属させている。これは既存のテストデータを単に流し込む自動テストではなく、人が専門知識を生かして実行している部分を、業務ドキュメントなどから情報を抽出。事業者や業種固有の要件をAIセーフティ評価に反映させるAI機能を開発することによって自動化している。

【関連記事】
・日本IBM、双日のAIガバナンス体制構築を支援　リスクを最小にし、成果を最大にする組織やプロセス設計
・弁護士ドットコム、炎上や誹謗中傷を未然に防ぐリスクチェックツール「AI 炎上チェッカー」を公開
・アクセンチュア、サイバーセキュリティ・レジリエンスの現状を調査　多くの組織でサイバー防御態勢が不足