論文やレポートが生成AIで執筆されたものかを見破る？ 無料の「生成AIチェッカー」を試してみた

株式会社ユーザーローカルが「生成AIチェッカー」を公開しました。会員登録を必要とせず、気軽に無料で利用できるWebサービスです。日本語の論文やレポートが、ChatGPTなどの生成AIによって執筆されたものであるかどうかを判定してくれます。このツールを実際に試してみました。

【目次】

AI文書の問題点と “見破る” ツールの必要性

生成AIは便利なツールですが、教育の現場では特に問題となることが少なくありません。生徒が宿題の作文をAIに書かせたり、就活生がエントリーシートの執筆にこっそり利用したりといったことを懸念する声もあるようです。また、事実に基づかない情報をあたかも事実であるかのように生成してしまうケースもあり、その現象は「ハルシネーション（幻覚）」と呼ばれています。

そこで、「生成AIが書いた論文かどうかを見破る」ツールとして提供が開始されたのが、今回の「生成AIチェッカー」です。ユーザーローカルが独自に開発したアルゴリズムにより、生成AIに特有の言い回しや語彙の偏りが検出されます。

ユーザーローカルのWebサイト
URL：https://www.userlocal.jp/使い方は、判定したい文章を入力して「テキストを判定」ボタンを押すだけです。生成AIが作成した可能性と人間が作成した可能性が百分率で示され、「AIによって生成されたテキストである可能性が高いです」「AIによって生成されたテキストである可能性があります」「人によって書かれたテキストである可能性が高いです」などと表示されます。より正確に判定するには、テキストが300文字以上であることが必要とされています。

シンプルなUIで迷わず操作できる「生成AIチェッカー」

ChatGPTで生成したテキストで試す

この「生成AIチェッカー」を試すため、まずはChatGPTで「デザインにおける配色の重要性」というテーマで約640文字のテキストを生成し、それを判定してもらいました。結果は「AIの可能性が90％」で、なかなかの精度です。

続いて、同じくChatGPTで「性善説と性悪説」というテーマで約600文字のテキストを生成して判定にかけました。その結果は「AIの可能性が65％」でした。AIのほうが可能性が高くて間違いではないものの、やや不満の残る結果です。

そこで、新たに同じく「性善説と性悪説」というテーマで約1,200文字のテキストを生成し、再び「生成AIチェッカー」で判定してみました。すると、今度は「AIの可能性が70％」の結果が示されました。たしかに文字数が多いほど、より正確に判定ができるようです。

実際に人間が書いたテキストで試す

次に、本記事の執筆者が学生時代に自身で書いた約1,200文字のテキストを「生成AIチェッカー」で判定してみました。これは「AIによって生成されたテキストである可能性があります」とは表示されたものの、人間である可能性のほうが60％と高い結果です。

また、本記事のリードと本文の一部も「生成AIチェッカー」にかけてみましたが、そちらは「人によって書かれたテキストである可能性が高いです」と判定されました。AIである可能性がわずか10％と、正しい精度で判定されています。

ここまで百分率の高低にばらつきはあるものの、「AIで生成したテキストはAIのパーセンテージが高い」「人間が書いたテキストは人間のパーセンテージが高い」という全問正解の結果です。

AIのサンプル文を加工してテストしてみると？

最後に、少し違った角度からテストをしてみました。「内容はまったく同じだけれど、体裁が違ったらどうなるのか」という観点です。

「生成AIチェッカー」にはサンプルとして、生成AIで作られた「TOEICの勉強法」という約1,000文字のテキストがあります。これをそのまま判定すると、AIによって生成されたテキストである可能性が95％というかなり高い「正解」の結果です。

このサンプル文について、あえて漢字を全て平仮名に書き直して再び判定してみました。このテストは実行前には「人間が書いた文と判定されるのでは？」と予想していましたが、結果はAIによって生成されたテキストである可能性が90％でした。

同様に、元のテキストの「です・ます調」を「だ・である調」に直してテストした結果も、AIの可能性が90％となりました。テキストの内容まで判定の材料とされているのか否かは分かりませんが、小手先でやや表記を変えたくらいでは「AIによるテキストだ」と見破られるようです。

＊　＊　＊　＊　＊　＊　＊　＊　＊　＊

「生成AIチェッカー」の試用は、とても楽しいものでした。何より、当初に予想していたより精度が高かったことに驚かされました。テキストによっても結果は変わるでしょうし、全面的に信頼することにはまた危険性があると思いますが、「AIが書いたかどうかチェックしたい」という場面では1つの参考として大いに役立ちそうです。

株式会社ユーザーローカル
URL：https://ai-tool.userlocal.jp/ai_classifier

2024/01/23