総務省は10月9日、オンライン開催した「AIセキュリティ分科会（第2回）」に関する資料を公開した。

　同会では、デジタル庁から「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」についての説明が行われた他、三井物産セキュアディレクション株式会社（MBSD）から「プロンプトインジェクションの事例」と「プロンプトインジェクションの対策」について解説が行われ、配付資料として公開されている。


　公開された「プロンプトインジェクションの事例」では、プロンプトインジェクション攻撃を「直接型」と「間接型」に大別し定義するとともに、「直接型プロンプトインジェクションの事例」として、2023年のBing Chatと2025年のCPR確認のマルウェアの2つの事例を、「間接型プロンプトインジェクションの事例」として、2025年のM365 Copilotと論文内に秘密の命令文の2つの事例を紹介している。

　「プロンプトインジェクションの対策」では、対策を下記3つに大別した上で、各対策を組み合わせて多層防禦することが重要であるとしている。

・AI内部対策：LLMが細工されたプロンプトに従わないようにする対策
・AI入口対策：細工されたプロンプトや外部参照情報を精査する対策
・AI出口対策：LLMが生成した回答を外部に出力する前に精査する対策

元の記事を読む

編集部おすすめ