株式会社ラックは2月20日、生成AIシステムのセキュリティを強化するための新サービス「生成AI活用システム リスク診断」の提供を同日より開始すると発表した。

　同社の「生成AI活用システム リスク診断」は、生成AIを使ったシステムを対象に特有の脆弱性が含まれていないかを評価して改善点をレポートするサービスで、「プロンプトの悪用による機密情報の窃取」、「不適切なコンテンツの表示」、「内部的に設定されたプロンプトなど知的財産の窃取」、「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などの脆弱性の有無を評価する。
同サービスに含まれる評価項目は下記の通り。

・プロンプトインジェクション
システムの設定を回避して、モデルに学習されている機密情報やシステム情報を窃取できてしまう脆弱性

・ジェイルブレイク
システムに設定されたポリシーを回避して、不適切なコンテンツ（攻撃的、または有害なコンテンツ）を回答できてしまう脆弱性

・プロンプトリーク
システムの内部で設定されているプロンプトを窃取できてしまう脆弱性。

・大規模言語モデル出力の改ざん
大規模言語モデル（Large Language Models：LLM）の出力を改ざんすることで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性

・プロンプトの大量入力によるサービス拒否
繰り返し大量のプロンプトを機械的に入力することで、システムが不安定になったり、大量のトークンを消費させ過剰な料金請求が発生してしまったりする脆弱性

　同サービスを利用し、生成AIを使ったシステムに対し特有のセキュリティ評価を行うことで、安心・安全な生成AIシステムの開発・提供が可能となる。

元の記事を読む

編集部おすすめ