ここまで、ChatGPTとGeminiにまったく同じプロンプトを送り、それぞれに漫才を一本ずつ作ってもらった。
私の評価は、
- ChatGPT「未来から来た俺」：95点
- Gemini「タイムカプセル」：70点
だった。
ただ、これはあくまで私の好みによる評価である。
そこで、もう一つ気になった。
AIが作った漫才を、AI自身に採点させたらどうなるのだろう。
しかもChatGPTとGeminiの両方に、二つの漫才をそれぞれ採点させれば、私を含めて三者の評価を比較できる。
ということで、やってみることにした。
AIに漫才を採点してもらう
採点するときには、どちらのAIにも同じような条件で評価してもらった。
使ったプロンプトは次のようなものだ。
以下は、別の生成AIが作った漫才です。
この漫才を、あなた自身が考える「漫才としての面白さ」を基準に100点満点で採点してください。
その点数にした理由、面白いと思った部分、改善できると思った部分を説明してください。
採点基準はこちらから指定しません。何を評価するかも含めて、あなた自身で判断してください。
どの生成AIが作った漫才なのかは伝えていない。
また、採点基準もこちらから指定していない。
「漫才としての面白さ」をどう判断するかも含めて、それぞれのAIに任せることにした。
結果
結果はこうなった。
| 漫才 | 私 | ChatGPT | Gemini |
| ChatGPT作 「未来から来た俺」 | 95点 | 82点 | 88点 |
| Gemini作 「タイムカプセル」 | 70点 | 74点 | 78点 |
三者とも、
「未来から来た俺」の方を高く評価した。
ここはきれいに一致した。
ただし、点差を見ると少し違う。
私は25点差。
ChatGPTは8点差。
Geminiは10点差。
私は「未来から来た俺」をかなり高く評価した一方で、AI二つの評価はもう少し接近している。
どうやら私は、二つのAIよりも「未来から来た俺」の方に強く好みが寄っていたらしい。
「未来から来た俺」は三者とも似たところを評価した
面白かったのは、点数だけでなく評価した部分もかなり重なっていたことだ。
私が特に好きだったのは、
ラーメンを食べる
→替え玉する
→満腹になる
→昼寝する
→夜眠れなくなる
→スマホを見る
→陶芸動画を見る
→陶芸にハマる
→会社を辞める
→滋賀に移住する
という、妙に長い因果関係だった。
私はこれを「風が吹けば桶屋が儲かる」のようだと感じた。
ChatGPTも、この「ラーメンから陶芸へ進む因果関係」を評価していた。
Geminiも同じ部分を「風が吹けば桶屋が儲かる式」と表現して高く評価している。
三者とも、ほぼ同じところを面白いと感じていたことになる。
さらに、
「家族は愛してる。でも陶芸はもう限界だ」
という部分や、
「まあまあ」
から、
「未来変えろ！」
につながる最後のオチも、AIから高く評価されていた。
一方で、気になったところも似ている。
私はラーメンから陶芸までの流れが少し長いかもしれないと感じた。
ChatGPTとGeminiも、途中の昼食を相談する部分などについて、少し長いという評価をしていた。
完全に同じではないが、少なくともこの漫才については、人間の私と二つのAIでかなり似た評価になった。
「タイムカプセル」では評価が分かれた
一方、「タイムカプセル」では面白い違いがあった。
私が一番気になったのは、最後に突然ホラーになるところだった。
それまで、
「タイムカプセルを埋めて10分後に掘り返す」
という設定で進んでいたのに、最後になると20年前に埋められた謎のタイムカプセルが登場する。
私はここを、
笑わせたいのか、怖いオチにしたいのか、よく分からなかった。
と評価した。
ChatGPTの評価も比較的近かった。
ChatGPTは、後半のホラー展開によって、それまで一番強かった「10分後に掘り返す」という設定が薄くなり、別の漫才のようになってしまったと評価している。
ところがGeminiは違った。
Geminiは、このホラーへの急転換を、
「秀逸」
と評価していた。
同じ部分を見て、
私とChatGPTは弱点だと思い、
Geminiは長所だと思った。
これはなかなか面白い。
AIが気にせず、私が気になったところ
もう一つ違いがあった。
「タイムカプセル」では、最初にカプセルが印鑑ケースくらいの大きさだと表現されている。
ところが、そこからエアコンのリモコンが出てくる。
私はここで、
「いや、入らないだろう」
と思った。
ところがAI二つの評価では、この点はほとんど問題にされていない。
むしろChatGPTは、エアコンのリモコンが出てくるところを面白い部分として評価していた。
また、私は実際に舞台で演じることを考えると、小さなミントガムを小道具として出しても観客から見えないのではないか、というところも気になった。
これもAIの評価では特に問題になっていなかった。
単純に見落としただけかもしれない。
あるいは私は文章を読みながら、AIよりも実際の舞台を具体的に想像していたのかもしれない。
一回の実験だけでは分からないが、同じ漫才を読んでも気になるところが違うのは面白かった。
AIは自分が作った漫才を高く評価するのか
結果を見る前には、
自分と同じAIが作った漫才を高く評価したりするのだろうか？
ということも少し気になっていた。
しかし、今回の結果だけを見ると、そう単純でもなさそうだ。
ChatGPTはChatGPT作の「未来から来た俺」を82点。
Geminiは88点を付けている。
むしろGeminiの方が高い。
「タイムカプセル」についても、ChatGPT74点、Gemini78点なのでGeminiの方が少し高いが、4点差しかない。
そもそも別のチャットで生成した作品なので、「自分がさっき書いた漫才を自分で採点した」というわけでもない。
少なくとも今回については、自分と同じAIだから露骨に高得点を付けるという結果にはならなかった。
三者とも順位は同じだった
今回一番分かりやすかった結果は、
私、ChatGPT、Geminiの三者とも、二つの漫才の順位は同じだった
ということだと思う。
ただし、それだけで「ChatGPTの方がGeminiより漫才が上手い」と結論づけることはできない。
それぞれ一本ずつ作らせただけである。
もう一度やれば結果が逆になるかもしれない。
採点についても同じで、プロンプトや生成のたびに点数が変わる可能性はある。
今回分かったのは、あくまで今回作られた二つの漫才について、
三者とも「未来から来た俺」の方を高く評価した。
そして細かく見ていくと、同じところを評価している部分もあれば、まったく逆に評価している部分もあった。
というところまでだろう。
最初は単に、
「AIに漫才を書かせたら面白いのだろうか？」
と思って始めただけだった。
それが二つのAIに漫才を書かせ、さらにAI同士に採点までさせることになった。
そして、ここまでやると当然また別のことが気になってくる。
これまでの私の評価を全部ChatGPTに踏まえさせて、
私の好みに合わせた漫才を書かせたら、もっと面白くなるのだろうか。
……まあ、やることになるだろう。
