米国の人工知能（AI）開発企業「アンソロピック」の研究者らが「今後さらに高性能化するAIモデルは人間の制御を離れ、最悪の場合には人類の絶滅につながる可能性がある」と警告した。ロイター通信は「中国でも注目を集めつつあり、当局はリスクの一部について備えを進めている」と報じた。
ロイター通信によると、中国は2024年9月、国家インターネット情報弁公室（CAC）の主導で公表したAI安全枠組みの中で将来的な「制御喪失シナリオ」を初めて明示的に盛り込んだ。この文書では将来のAIが自律的に外部資源を獲得し、自らを複製し、自己認識を発達させ、さらに外部の権力を求める可能性を完全には否定できないと言及。その結果、人間との間で支配権を争う事態に発展する危険性があるとしている。
CACは25年9月、この枠組みを拡充した新版を公表。新版ではAIが予期せぬ形で急激な知能の飛躍を遂げ、その後に資源獲得や自己複製、権力追求へと進む可能性がより具体的に描かれた。
さらに新たな統治原則としては「信頼できる活用と制御喪失の防止」が盛り込まれた。CACのウェブサイトに掲載された専門家による解説では、この原則が人類の生存や発展を脅かす制御喪失リスクへの対応を目的としているとされ、「AIが暴走するシナリオ」にも触れられている。
AI暴走の懸念は中国最高指導部の発信にも反映されている。7 月に上海で開催された世界人工知能大会（WAIC）で習近平国家主席は「AIがもたらす本質的リスクと派生的リスクの双方に十分注意を払うべきだ」と発言。AIは「常に人間の管理下に置かれなければならない」と強調した。
中国外交部でAI政策を担当する高官は8月の国連会合で、中国が包括的なAI立法に向けた研究を加速していると説明した。そのほか中国の国連次席大使も今月、軍事分野でのAI利用について慎重な姿勢を取るよう各国に呼び掛け、戦略的な誤判断や軍拡競争を避ける必要性を訴えた。
中国ではその一方で、こうした原則をより具体的な規制へと落とし込む動きも進んでいる。その対象となっているのが通常のチャットボットよりも高い自律性を持ち、複雑なタスクを遂行できるAIエージェントだ。
5月にはCACなどがAIエージェントを対象とした共同ガイドラインを公表した。ガイドラインでは開発企業に対し、不適切なエージェント行動を発見し、介入や遮断、さらに正常な状態へ復旧させる能力の向上を求めている。
中国はアンソロピックが提唱するようなAI企業内部に独立監視機関を常駐させる制度までは提案していない。しかし、中国の安全基準では開発企業が第三者による安全性評価を委託することが認められているほか、外部評価機関やセキュリティー研究者がオープンモデルをテストし、監査する仕組みも想定されているという。（編集/日向）
