Z Creative Partners、GEO計測における「AI回答の揺らぎ」と統計サンプリングの重要性を発表

- 日本市場のGEO黎明期に、「AIに出た／出ない」から「どの程度、安定して出るのか」へ - 株式会社Z Creative Partners（本社：東京都港区、代表取締役：村山穂奈実、以下「Z Creative Partners」）は、特許出願済の独自アルゴリズム「VSCA(TM)（Visibility, Sentiment, Competitiveness, Authority）」を搭載したGEO（Generative Engine Optimization／生成AI検索最適化）ソリューション「Z-GEO(TM)」を提供しています。 このたび当社は、GEO計測における重要な方法論上の論点として、生成AIの回答が本質的に持つ「揺らぎ（非決定性／non-determinism）」と、それに対応するための統計サンプリングの必要性について発表いたします。 日本国内でも、ChatGPT、Gemini、Perplexity、Claudeなどの生成AIや、Google AI Overviewに代表されるAI検索面において、企業・ブランドがどのように表示、引用、推薦されるかを把握するGEOへの関心が高まりつつあります。一方で、生成AIの回答は同じ質問でも変動するため、一度きりの観測結果だけで「AIに選ばれている／選ばれていない」を判断することには、方法論上の不確実性が残ります。 本リリースでは、GEO市場の早期段階において、企業が生成AI上のブランド評価をより再現性高く把握するために必要な「計測品質」の論点を整理します。Z Creative Partnersは、AI回答を一時点のスナップショットではなく、複数試行から得られる分布として捉える計測設計を、Z-GEO AI Monitor(TM)の基盤に採用しています。[画像: https://prcdn.freetls.fastly.net/release_image/172653/13/172653-13-84394ee13b26cef876baa24e0a6663f6-900x600.jpg?width=536&amp;quality=85%2C75&amp;format=jpeg&amp;auto=webp&amp;fit=bounds&amp;bg-color=fff ]「AIに出た／出ない」から「どの程度、安定して出るのか」へGEO市場の課題：「AIに出た／出ない」だけでは、意思決定に使いにくい 生成AIの普及により、検索結果ページだけでなく、AIの回答文そのものが企業の認知、比較検討、購買行動に影響を与え始めています。これに伴い、企業が「自社ブランドはAIにどう認識されているのか」「競合と比べてどのように紹介されているのか」を把握するGEO計測の重要性が高まっています。 しかし、GEOはまだ市場形成の初期段階にあります。何を測るべきか、どの程度の頻度で測るべきか、同じ質問を何回実行すべきか、AIモデルやAI検索面ごとの違いをどう扱うべきかといった計測設計の考え方は、まだ市場全体で十分に共有されているとは言えません。 特に注意すべきなのが、AI回答の「揺らぎ」です。生成AIは、同じ質問を投げても毎回まったく同じ回答を返すとは限りません。したがって、ある時点で一度だけ質問し、自社ブランドが「出た／出なかった」を記録するだけでは、その結果が安定した傾向なのか、たまたまの揺らぎなのかを判断しにくくなります。 Z Creative Partnersは、GEO計測が企業のマーケティング投資やブランド戦略に使われる以上、単なる観測結果の提示にとどまらず、再現性・継続性・統計的な不確実性を考慮した計測設計が必要だと考えています。背景：AIの回答は、確率的に「揺らぐ」 生成AIの回答が一定しない性質は、「非決定性（non-determinism）」と呼ばれます。これは第三者の研究やAI提供各社の公式情報でも確認されています。 コード生成タスクを対象とした査読付き研究（ACM TOSEM, 2024）では、デフォルト設定においてChatGPTが高い非決定性を示し、データセットによっては最大75.76%のタスクで、同一の依頼に対する出力が実行ごとに一致しなかったと報告されています。同研究は、出力のランダム性を抑える「温度（temperature）」を0に設定しても、決定性は保証されないとしています。 また、Thinking Machines Labの技術ブログ（2025年）は、LLM推論における非決定性の要因として、バッチ処理や推論基盤上の数値計算・実装上の差異を挙げ、同一入力に対する出力の再現性が実運用上の重要課題であることを論じています。OpenAIも自社のCookbook（2023年）において、API出力は既定で非決定的であり、seedパラメータを用いても「おおむね決定的（mostly deterministic）」にとどまり、決定性は保証されないと説明しています。Anthropicも、温度0でも結果は完全には決定的にならないと明記したうえで、品質検証の手法として「同一プロンプトを複数回実行し、出力の食い違いを確認する（Best-of-N検証）」ことを推奨しています。 つまり、「AIが自社ブランドをどう答えるか」は、1回聞いただけで確定する対象ではありません。複数回の試行を通じて、どの程度の頻度で登場するのか、どの位置で言及されるのか、どの文脈で引用されるのかを分布として把握する必要があります。Z-GEO AI Monitorの設計思想：一度の結果ではなく、分布として測る Z Creative Partnersの「Z-GEO AI Monitor」は、AI回答の揺らぎを前提に、GEO計測を統計サンプリングの問題として扱います。当社は、GEO計測において次の4つの設計原則を重視しています。- 複数試行性：同一または同等のプロンプトを複数回実行し、一度きりの結果に依存しない。- 継続性：単発調査ではなく、時系列で変化を追跡し、モデル更新や市場変化を捉える。- 比較可能性：自社、競合、カテゴリ全体を同じ条件で測定し、恣意的な比較を避ける。- 説明可能性：スコアの根拠となるデータ、指標、算出ロジックを説明できる状態にする。Z-GEO AI Monitorは、こうした考え方にもとづき、以下のような計測基盤を採用しています。- サンプリング：同一プロンプトに対して、複数回・複数条件（実行環境・時間帯など）で試行し、「たまたまの結果」に左右されにくいサンプリングを取得します。- 連続データ収集：週2～3回の継続更新により、モデルの進化や市場変化を時系列で捉え、施策の前後で生じた変化を月をまたいで追跡します。これにより、施策効果とノイズを統計的に見分けやすくします。- 大規模カバレッジ：ヌケモレのないプロンプト設計、8以上の生成AIモデル・AI回答面（ChatGPT／Gemini／Perplexity／Claude／Google AI Overviewに加え、中国AIのDeepSeek／Doubao／Qwen／Yuanbaoなど）を組み合わせ、月あたり一万以上のデータポイントを取得します。（サービスプランによる。）- 数理的な統合スコア：取得データはVSCA(TM)フレームワーク（露出力／好感度／競争力／権威性の4軸 × 9サブメトリクス、特許出願済）で統合スコア化します。スコアは、ブランドの登場頻度・登場順位・引用有無といった「数えられる」客観シグナルを中心に構成され、その統合はAHP × Weber-Fechner × Holder Meanという固定された数理ロジックにもとづいて行います。計測ロジックを説明可能な形で設計することで、「なぜこの数値になったのか」を検証しやすい状態を目指しています。なお、解釈が入るのは好感度の判定など限定的な部分にとどめ、その判定も複数試行のサンプルにもとづいて行います。GEO計測に必要なのは、データ量だけではなく「設計品質」 統計サンプリングという考え方そのものは、特別なものではありません。重要なのは、それを設計通りに、継続的に、大規模に運用し続けることです。 1,500以上のプロンプト、8以上の生成AIモデル・AI回答面を複数条件で週2～3回サンプリングし、月1万超のデータポイントを分布として蓄積・スコア化し、さらにそれを事業判断に結びつけていくには、次の三つの力を組み合わせる必要があります。- 大規模データを扱う基盤構築・運用力（データエンジニアリング）- 生成AI／LLMの挙動と評価設計への理解（AI専門性）- 数値を施策と経営判断に翻訳する力（事業戦略） Z Creative PartnersのZ-GEO(TM)ソリューション開発チームは、これら三つの領域にバックグラウンドを持つメンバーで構成されています。米国や中国を含む海外名門大学出身で、グローバル大手IT企業での研究開発経験、戦略コンサルティングファームでの事業支援経験を持つメンバーも参画し、データ・AI・戦略を横断できる体制を整えています。日本市場のGEO黎明期に、計測品質の論点を提示する GEOは、今後のデジタルマーケティングにおいて重要な領域になる一方、現時点では計測手法や評価基準が十分に成熟していない分野でもあります。だからこそ、初期段階から「何を測ったのか」だけでなく、「どのように測ったのか」を明らかにすることが重要です。 Z Creative Partnersは、AI回答の非決定性を正面から扱う統計的な計測設計を、当社が重視するGEO計測の設計思想として提示します。企業がノイズではなく実態にもとづいてAI上のブランド戦略を意思決定できるよう、今後も技術レポートや方法論の発信を通じて、国内GEO市場の健全な発展に貢献してまいります。CEOコメント株式会社Z Creative Partners CEO 趙 佳偉 「GEOは、日本ではまだ市場が立ち上がり始めたばかりの領域です。だからこそ、単に『AIに出た／出なかった』を見るだけではなく、その結果がどの程度再現するのか、どの程度安定しているのかまで含めて測る必要があります。私たちが統計サンプリングにこだわるのは、お客様にお見せする数値が、たまたまの一回ではなく、意思決定に使える実態であってほしいからです。Z Creative Partnersは、データ基盤・AI・戦略を横断するチームとして、GEO計測の品質そのものを高め、企業がAI時代のブランド戦略をより確かな根拠にもとづいて設計できる環境をつくっていきます。」会社概要株式会社Z Creative Partners （ゼットクリエイティブパートナーズ）所在地：東京都港区六本木3丁目16番12号 六本木KSビル5F代表者：代表取締役 村山 穂奈実事業内容：GEOソリューションの開発、AIマーケティングソリューション開発、クロスボーダー型マーケティング事業URL：https://z-tech.ai海外拠点：タイ（バンコク）、ベトナム（ホーチミン）、中国（提携拠点含む）本件に関するお問い合わせ先 株式会社Z Creative Partners 広報担当Email：info@z-creative-partners.com技術メモ：AI回答の「揺らぎ（非決定性）」とは 生成AIは、次に出力する語を確率分布から選ぶ「サンプリング」によって文章を生成します。このため、同じ入力でも出力が一定になりません。理論上は「温度0」で最も確率の高い語を常に選べば決定的になるはずですが、実際にはリクエストのバッチ処理、推論基盤の設定、浮動小数点演算の扱いなど、ハードウェア・インフラ上の要因により、温度0でも出力は完全には一定になりません（出典欄参照）。本文の「揺らぎ」は、この非決定性を指します。参考・出典1. Shuyin Ouyang, Jie M. Zhang, Mark Harman, Meng Wang「An Empirical Study of the Non-Determinism of ChatGPT in Code Generation」ACM Transactions on Software Engineering and Methodology（TOSEM）, 2024. https://dl.acm.org/doi/10.1145/36970102. Thinking Machines Lab「Defeating Nondeterminism in LLM Inference」2025年. https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/3. OpenAI「How to make your completions outputs consistent with the new seed parameter」（OpenAI Cookbook, 2023年）. https://developers.openai.com/cookbook/examples/reproducible_outputs_with_the_seed_parameter4. Anthropic「Glossary」（Claude公式ドキュメント）. https://platform.claude.com/docs/en/about-claude/glossary5. Anthropic「Reduce hallucinations」（Claude公式ドキュメント）. https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations6. Z Creative Partners「Z-GEO AI Monitor 計測設計（統計サンプリング）」免責事項 本リリースに記載されている内容は、発表日時点における当社の見解および当社が調査・整理した情報を含みます。本文中の計測手法に関する記述は、特定の他社サービスを指して評価・批判するものではなく、計測設計一般に共通する方法論上の論点を説明したものです。引用した第三者の研究・文献の数値および結論は、対象タスク・モデル・条件等に依存するものであり、すべての生成AI・すべての利用条件において同一の結果を保証するものではありません。当社サービスに関する記述は当社自身の設計・運用に関するものであり、GEO施策によるAI回答内での表示、推薦、引用、売上、問い合わせ数等の成果を保証するものではありません。ChatGPT、Gemini、Perplexity、Claude、DeepSeek、Doubao、Qwen、Yuanbao等は各社が提供するサービスであり、各社名・サービス名・製品名は各社の商標または登録商標です。企業プレスリリース詳細へ : https://prtimes.jp/main/html/rd/p/000000013.000172653.htmlPR TIMESトップへ : https://prtimes.jp