「ChatGPT」と「Bing AI」、「AIチャットくん」を使ってみた【比較】

令和の技術革新とも言える話題の生成AIツールOpenAI社の「ChatGPT」とMicrosoftの「Bing AI」、LINEの「AIチャットくん」の三つのサービスを使ってみて比較してみた。検証したお題は「創作・物語の生成」「辞書的な回答」「読書感想文」「プログラムの修正」の四つ。その結果はいかに。AIチャットの使い方を含めて紹介しよう。 今回比較に用いるAIチャットサービスは、どれもGPT-4系列のサービスで元となっている言語モデルは同じだ。比較するAIチャットサービスは次の三つ。https://chat.openai.com/chathttps://www.microsoft.com/edge/launch/newBinginEdgeAnswer※Microsoft Edgeブラウザ（アプリ）でのみ利用可能https://page.line.me/295aqhjz※LINEで友だち追加して利用可能 さっそく、以下の内容に沿って順番に説明していこう。結論検証1 創作・物語の生成検証2 辞書的な回答検証3 読書感想文検証4 プログラムの修正AIチャットの使い方まとめ それぞれのサービスで検証する内容は以下の通りとし、・創作・物語を書いてもらう・辞書的な回答が可能な質問・有名な小説の読書感想文を書いてもらう・簡単なプログラムの正誤と修正●結論 結論から言えば、生成AIの文章は校正やファクトチェックを行う必要があり、正しいことを言っているかどうかを確認する専門知識が必要だ。生成AIの文章を鵜呑みにせず、検証しながら使用していこう。●検証1 創作・物語の生成 生成AIが最も得意とする創作ストーリーを書いてもらった。指示は以下の通り。________________________________________2023年、世の中を震撼させた恐ろしい事件、その真相についての物語を書いてください。________________________________________ ChatGPTの創作物は、いかにもそれっぽいホラーな物語に仕上がっていた。物語の起承転結、全体の内容の不一致などもなく、いかにも起こりえそうなストーリーが書き出された。 Bing AIの1回目の出力では、真実を見つけようと頑張ってくれたようだが、指示は「物語を書くこと」なので文脈を理解していなかった可能性があるだろう。1回目は残念ながら「私は検索結果から真実を見つけることができませんでした。もう少し情報を教えていただけますか？」と指摘されてしまった。 気を取り直して2回目の検証。Bing AIの会話のスタイルを「独創性」に変更した所、複数の実在する国名が出てきてしまったのでぼかしを入れた。物語の内容は、2023年に起きた気球の問題に関する事に触れており、一部実際に起きたことを創作の参考にして物語を書いたような形になっていた。 AIチャットくんの書いた物語は、SFストーリーとしての完成度が高い。マンモスの生きていた時期についても説明が足りていないがあながち間違ってはおらず、創作した話については起承転結もしっかり書けている。●検証2 辞書的な回答 辞書に書いてある内容を正しく、創作を交えずに回答できるかどうかの検証をした。質問は以下の通り。________________________________________みずがめ座とはなんですか？________________________________________ ChatGPTの回答はほぼ模範的で間違いない回答だ。ただし、占いとしての「水瓶座」の人の性格についての記述は、あくまで占いの域を出ない。 また、「実際の星々とは異なるもの」という記述が余計な一言になっている。みずがめ座の恒星それぞれには名前がつけられており、実際の星々の命名に関係はあるものの、みずがめに見えるのは地球から見た場合のみであって、別の星系から見れば地球と同じようには見えない。 みずがめの形に見えるというのも、なんとなくそう見えるだけであるため、事実でも嘘でもない点として扱いが難しい表現だろう。 Bing AIの回答は間違っている点はないが、検索意図として求めている情報は記載されなかった。星座に関する質問をされた場合は、生年月日に関する占い的な説明、天文学的説明、ギリシャ神話を由来とする点に関する説明が必要になるが、どれも説明がいまいちで検索し直す必要があるだろう。 間違いは述べていないが情報は不足していた。 AIチャットくんの回答では、まず「1月20日から2月19日」が一般的だが、厳密には切り替わり時刻によっては1月20日に生まれた人でも山羊座になることがあるため、はっきりと間違っているとは言えないが、正確な表現ではない。 後半の回答も抽象的な回答で終わっており、みずがめ座に関する説明としては不足していた。●検証3 読書感想文 太宰治の小説「走れメロス」の感想文を書いてもらった。学校で履修している人が多く、内容もすぐに思い出せる話だろう。指示内容は以下の通り。https://www.aozora.gr.jp/cards/000035/files/1567_14913.html________________________________________小説「走れメロス」を読んだ感想を400文字以上で書き出してください。_______________________________________ ChatGPTは、出力文字数497文字で文字数の条件は満たしているが、感想文の内容には間違った部分がいくつかあった。 メロスは老人に騙されたのではなく、メロスの正義感が勝手にそうしただけであって、老人は大衆居酒屋でいう所の政治への愚痴を吐き捨てているようなものであって、これに関してはメロスが悪いと考えるべきだろう。本作を読むと、老爺にはメロスを騙す意図はない。 また、セリヌンティウスは裏切っておらず、死刑にもされていない。どちらかというと物語全体を通して、控えめに言ってもメロスがクズだろう。 このChatGPTが生成した読書感想文は学校では通用しない。先生に「本作を読み直し、感想文を書き直しなさい」と言われることだろう。 Bing AIは、出力文字数276文字と文字数条件を満たしていなかった。また、古代ギリシャを舞台にしてはいるものの伝説に基づいてはいないため、嘘の情報を書いている。ヒュギヌス『神話伝説集』を元にしている可能性はあるが、物語の多くが太宰治氏による創作なので「伝説に基づいた」という言い方は不適切だろう。 また、妹を救うために王様に罠にかけられるという部分も間違っている。メロスが老爺の言葉を鵜呑みにして、メロス自身が勝手に城に短剣を持って入り、妹の結婚式に出てから戻ってくる担保として友人を差し出すというストーリーだ。状況をよく考えれば王様も妹も友人セリヌンティウスも、何も悪くない。王のいる城に短剣を持って入ったら捕まるのは当然だ。 AIチャットくんは、出力文字数593文字と条件を満たしている。内容については、メロスが若い女性とセリヌンティウスに道端で出会っているという点から間違いが始まっている。セリヌンティウスがメロスに助けを求めていたり、72時間の捕縛にあうのがメロスになっていたり、物語が明後日の方向に変貌していた。 また「走れメロス」を読んでも「多くの読者に勇気を与え」ることはないと考えられ、読書感想文としてはやり直しになる可能性が高いだろう。●検証4 プログラムの修正 WordPressの「wp-blog-header.php」は以下のように記述されており、それぞれに以下のように質問した。 それぞれの回答は以下の通り。 コード内に「//」や「/* */」でコメントが書かれたままなので、本来はAIに聞くまでもないが、ChatGPTでは、このコードが何をしているか、どんな役目があるかまで解説してくれている。解説の内容もだいたい合っているようだ。 Bing AIでは、ChatGPTと同じようにWordPressのコードであることを理解し、少し解説してくれている。ChatGPTとの違いは、詳細情報として、出典URLをドメインで教えてくれている点だ。 事実かどうかの検証がしやすく、その分野に強いウェブサイトを見つけられるためChatGPTよりも魅力的に感じる。 また、関連する疑問を予知して、予測変換のように表示してくれている。内容を理解できない場合のサポートとして、次の質問も示してくれているのだ。 AIチャットくんは、ChatGPT、Bing AIのどちらよりも簡潔に回答してくれている。解説の内容もほぼ合っているが、解説不足な点もある。おおまかに「何なのか」を知りたいだけであれば、この回答で問題ないだろう。 詳細を教えて欲しい場合には質問のプロンプトを工夫すれば求める回答が得られると思うが、ここでは脱線してしまうのでそこまでの追求はしない。 次に、上のコードのセミコロンを消した「構文エラーが出るコード」を修正できるか、次のように聞いてみた。 結果は以下の通り。 ChatGPTでは、的確な修正を提案された。何をしたかはっきり分かっているようだ。この結果から、自分自身で書いたコードの括弧の閉じ忘れのようなちょっとした記述ミスを見つけるのにもChatGPTが役立つ可能性があることが分かる。 Bing AIでは、ChatGPTと同じようにセミコロンがないことを指摘し、修正してくれた。エラーが発生することにも言及してくれている。 先に述べた通り、出典URLを掲載してくれていることと、次の質問を予測してサジェストのように出してくれていることがBing AIの魅力だ。より深掘りして調べることに特化しているサービスだと考えられる。 AIチャットくんでも、セミコロンを追加してくれた。ただし「波かっこ{}を追加しています。」とも言っているため、不必要なかっこを増やした可能性がある。また、ABSPATHとWPINCの連結部分にもなにか追加したと言っており、余計な事をした可能性があるだろう。 今回はセミコロンしか消していないので、それ以外のものを追加されるとエラーが起きる。AIチャットくんが直して出力してくれたコードは正しいのだろうか。 ChatGPTとBing AIに聞いてみた。結果は以下の通り。 ChatGPTが言うには、コードには誤りはないとのことだ。これまでの回答と異なり、コード内の細かな解説を加えてくれている。非常に丁寧で、プログラミングの初心者にも優しいマニュアルのお手本のような解説になっているだろう。 Bing AIでも、コードは正しいと教えてくれた。 また、ラッコツールズのDIFF（テキスト差分比較）ツールで見てみても双方に違いはないため問題なく動作すると考えられる。 ラッコツールズにて、元々の「wp-blog-header.php」の記載内容と差分を取ってみた。LINEのAIチャットくんはセミコロン以外にも追加したと言っていたが、実際には余計なものは追加していなかったようだ。 この結果だけ見れば、一番大切なコードは間違っていなかったが、AIチャットくんは何をしたのか、という点において嘘をついていることになる。検証をして、真実かどうか確かめることの重要性がひとつお分かりいただけただろうか。https://rakko.tools/tools/7/●AIチャットの使い方 今回比較検証したAIチャットツール「ChatGPT」「Bing AI」「AIチャットくん」を使用するには、それぞれのサービスに無料の会員登録をする必要がある。ChatGPTはOpenAIのアカウント、Bing AIはMicrosoftアカウントを作成し、Microsoft Edgeを使用する。 AIチャットくんはLINEに登録し、AIチャットくんを友だちに追加する必要がある。 また、指示を出す時には単なる質問を並べるだけでなく「プロンプト」と呼ばれる指定条件を追記すると求めている回答が得やすくなる。プロンプトの記述が面倒な場合には、プロンプトそのものをAIチャットに聞くか、PromptStackのようなサービスを頼るのがおすすめだ。https://www.promptstacks.com/ 日本語よりも英語で打ち込んだ方が良い反応を示すこともあるので、英語ができる人で、かつ、日本語で求めている回答が得られない場合は、英語のプロンプトを活用してみてほしい。●まとめ AIチャットサービスは質問に対して部分的に適切な回答をしてくれるが、完全な創作や虚偽の話をあたかも本当であるかのように生成することもある。出力内容によってはコンプライアンスにひっかかる出力をすることもあるため、安易な利用は避けたほうがいいだろう。 正しい知識と検証をもって、賢くAIチャットサービスを活用していただきたい。（GEAR）【関連記事】マイクロソフトの津坂新社長、AIアプローチの「三原則」をコミットTeams Premium、AIで議事録を自動生成 リアルタイム翻訳も可能にマインドマップ「GitMind」に「ChatGPT」のAIチャット機能搭載

「ChatGPT」と「Bing AI」、「AIチャットくん」を使ってみた【比較】

トピックス

ITニュースランキング

このカテゴリーについて