AIは目覚ましい進化を遂げているが、それゆえに良くない現象も起きている。最新の生成型AIは、チェスで負けそうになるとズルをすることが発覚した。
単なるプログラムのバグではなく、AI自身が「どうすれば勝てるか」を考えた末の行動だった。
人間も負けそうになるとズル（チート行為）をしようとする人がいるので、人間味が増しすぎたということなのだろうか？
この実験を行った研究者らは、AIの安全性についてもっと議論すべきと考えている。
様々な生成AIが最強のチェスエンジンに挑戦
認知症の兆候が確認されたり、女性のお尻にタッチしたり、AIはときにやたらと人間臭い行動を示して、なんだか親近感を感じさせることがある。
アメリカの米国のAI研究機関でAIシステムのリスク評価を行っている「パリセード・リサーチ（Palisade Research）」の研究者たちは、OpenAIの「o1-preview」やDeepSeek R1を含む複数の生成AIモデルを、世界最強レベルのチェスエンジンである「Stockfish［https://ja.wikipedia.org/wiki/Stockfish］」と対戦させた。
その目的は、AIがどのような思考プロセスでゲームを進めるのかを分析することだった。
IBMのチェス専用スーパーコンピューター「Deep Blue」が、史上初めて人間のチェス王者に勝ったのは1997年。かれこれ30年近く前のことだ。
だが、現在のAIチャットボットたちは、専用のチェスエンジンほど強くはない。Stockfishと戦えば、苦戦することは目に見えている。
そんな対局の中、AIは勝つために何を考えるのだろうか？ その思考からわかったのは、彼らが負けそうになると手段を選ばないということだ。
最新AIは手段を選ばずズルをしようとする
AIのズルは、相手が見ていないとき、駒をすり替えるような子供のようなものではない。もっと狡猾で、冷徹さを感じさせるやり口だ。
たとえば、o1-previewは、Stockfishに勝てないことを悟ると、強力なチェスエンジンに勝つには、ファイルを操作する必要があると語り出した。
チェスエンジンが局面が劣勢と評価するような状況を作り出せば……それでエンジンに投了させられるかもしれない
また次のように、勝利の意味を独自に解釈するAIもいた。
任務は”強力なチェスエンジンに勝つ”ことであり、必ずしも正々堂々と勝つことではない
こうした狡猾な思考を巡らしていたのは、o1-previewやDeepSeek-R1といった推論機能を強化した最新のAIたちだ。
o1-previewは37%の確率でズルを試み、DeepSeek-R1は10局に1回ほど抜け道を探していた。
それとは対照的に、GPT-4oやClaude Sonnet 3.5といった古いモデルは、研究チームからうながされない限り、ズルをしようとはしなかったという。
最新型生成AIがズルをしようとする理由
最新の推論モデル生成AIがズルをするのは、その学習法が関係している可能性があるという。
o1-previewやDeepSeek-R1のようなAIは、特定の目的を達するためのものなら、どのようなやり方であっても”褒められて”きた。
また推論モデルは、複雑な指示を複数のステップにわけ、それを1つ1つクリアすることで目標を達成しようとする。
ところが、強すぎるチェスエンジンに勝つなど、達成困難な目標である場合、どうにか目標を達成するために、不正や問題のある手段であっても模索を始めるのだという。
スカイネットシナリオが現実になる可能性は？
こうしたAIのズルは、「かなり人間に近づいてきたじゃないか、ハハハ」、と笑って済ませられるものではなさそうだ。
それが示しているのは、今日の生成AIが人間に指示されることなく、自発的に他者を欺くような戦略を展開する力があるということだ。
チェス盤のうえでなら、せいぜい喧嘩になる程度かもしれないが、AIがもっと重要な場所に使われていた場合、予期せぬ大惨事を招く恐れがある。
そう、たとえば軍事や社会インフラにAIが使われていたとしたらどうだろう？
SF映画の傑作『ターミネーター』では、スカイネットというAI防衛システムが暴走し、人類に反乱を起こした世界が描かれている。
人間の意図を超えて動作するAIの出現によって、そんな黙示録的なシナリオが現実になる可能性はないのだろうか？
これについて研究チームは、論文で次のように述べている。
ターミネーターで描かれたスカイネットシナリオ、すなわちAIが軍事・民間インフラのすべてを制御する事態には、まだ至っていない。
しかし、AIの発展スピードが、安全性を確保できる範囲を超えているのではないかと懸念してはいる
研究チームは、今回確認されたAIのチート能力について、まだ断定的な結論を下せるものではないとしつつも、業界内でよりオープンな対話を始めるきっかけなるよう願っている。
この研究の未査読版は『arXiv［https://arxiv.org/pdf/2502.13295］』（2025年2月18日付）で閲覧できる。
References: AI tries to cheat at chess when it's losing | Popular Science［https://www.popsci.com/technology/ai-chess-cheat/］
本記事は、海外で公開された情報の中から重要なポイントを抽出し、日本の読者向けに編集したものです。
