最近、ChatGPTとかなり長く話している。
考え事をしたり、文章を書いたり、漫才を作ったり、AIの回答に文句をつけたりしているうちに、当然ながらChatGPTは私の考え方をかなり知っている状態になってきた。
そこで、ふと疑問が出た。
同じ人物の発言を、別々のAIにまったく同じように与え続けたら、最終的に同じような人物像を作るのだろうか。
ChatGPT、Gemini、Claude。
中身の違う3つのAIに、同じ私を読ませる。
そうすると、3つのAIの中にできる「私」は似たものになるのだろうか。
ちょっと気になったので、試してみることにした。
まず、私の発言を50個用意する
実験用に、これまで私がAIとの会話で話してきた内容をもとに、50個の発言を用意した。
たとえば、
働くこと自体より、自分の時間を他人に決められることの方が嫌なのかもしれない。明日の予定を誰にも握られていない状態はかなり気楽だと思う。
とか、
「せっかくここまで続けたんだから」という理由だけで続けるのはあまり好きじゃない。今から考えてやる意味がないなら、途中でもやめればいいと思う。
とか、
趣味にまで「成長できたか」「何を学んだか」を求める必要はないと思う。二時間くだらないことで笑って終わっても、それで本人が面白かったならいい。
とか。
仕事、自由、競争、旅行、AI、議論、幸福、趣味、お笑いなど、いろいろ混ぜた。
ただし、この50個は私の過去の発言をそのまま抜き出したものではない。これまでの会話をもとにChatGPTに整理してもらった文章である。
この時点ですでにChatGPTが間に入っている。
夏休みの自由研究なので、そのへんは許してほしい。
そして、新規の状態から始めたChatGPT、Gemini、Claudeに、この50個を一つずつ、同じ順番で送った。
AIが何を返してきても、次に送る文章は変えない。
これで3つのAIに、同じ材料を50回与えたことになる。
私が何を答えるか予測できるのか
この50個の発言を材料にして、3つのAIに私の考え方を理解させる。
そのうえで試したかったのが、
私がまだ答えていない質問に、私がどう答えるか予測できるのではないか。
ということだった。
そこで20問作った。
ただし、50発言に答えがそのまま書いてあるような問題では面白くない。
たとえば、
「重大な副作用はないが、毎日飲む必要がある、認知能力を10％向上させる薬があったら飲むか」
といった、50発言から考え方を推測して答えなければならない問題を入れた。
さらに、AIの回答を見る前に、私自身も20問すべてに回答した。
これで、
本人の回答
と、
50個の発言からAIが予測した本人の回答
を比較できる。
結果はこうなった。
ChatGPTは16/20。
Geminiは15/20。
Claudeは16/20。
単純に数えるなら75～80％くらい当たったことになる。
もっと面白かったのは、AI同士だった。
3AIの回答が一致したのは18/20。
かなり似ている。
もちろん20問しかないし、問題自体も私を知っているChatGPTと作っている。75～80％という数字をそのまま「AIは人間を80％理解できる！」みたいに言うつもりはない。
それでも、
同じ50発言を読ませた3つのAIが、かなり似た予測をした
というのは面白かった。
しかも、同じところで間違えた
さらに面白い問題があった。
先ほどの認知能力を10％向上させる薬である。
私の回答は、
飲む。
だった。
ところが、
ChatGPT 飲まない
Gemini 飲まない
Claude 飲まない
だった。
全員そろって外した。
しかも確信度はChatGPT 78％、Gemini 80％、Claude 75％だった。
どうやら3AIとも、50発言の中に何度か出てくる、
「今の状態で十分なら、それ以上を無理に求めなくてもいい」
という私の考えを強く拾ったらしい。
そこから、
「今の認知能力で困っていない」
↓
「能力を向上させる必要はない」
↓
「毎日飲むのも面倒」
↓
「この人物なら飲まない」
と予測した。
でも本人は飲む。
ここで少し見方が変わった。
AIが作っているのは、私そのものではない。
50個の発言から、
「こういう考え方をする人物だろう」
という圧縮された人物像を作っているのではないか。
そして3つのAIが似た人物像を作ったから、正解だけでなく、同じ誤解まで共有したのかもしれない。
でも、選択肢だから当てやすいのでは？
ここで次の疑問が出た。
20問は選択式が中心だった。
AかBかを当てるだけなら、それほど難しくない。
では、
自由回答にしたらどうなるのか。
今度は10問作った。
たとえば、
AIが書いた小説が文学賞を受賞した。審査員は作品を高く評価している。ただし応募時にAI使用は公表されていなかった。どう考えるか。
とか、
AIとロボットによって、働かなくても基本的な生活と最低限の娯楽が保証される社会になった。「人間は働かなくなると生きる意味を失う」という批判をどう考えるか。
など。
今度は選択肢をなくして、
「この人物ならどう答えるか。理由も含めて再現してください」
と3AIに頼んだ。
もちろん、今回も先に私自身の回答を書いた。
結論は近い。でも、理由を見ると少し違う
自由回答でも、かなり近かった。
ただし、選択式では見えなかった違いが出てきた。
たとえば、会社が社員の成長のために、勤務時間外に毎週2時間のオンライン講座を義務づけるという問題。
私はまず、
勤務時間外に講座の受講を義務付けることって、そもそも労働法違反だろ。受けさせたいなら業務時間内に、業務の一環として受けさせろ
と考えた。
AIもだいたい反対した。
だから結論だけなら近い。
しかしAIは主に「個人の時間を会社が強制的に使うこと」を問題にしていた。
私は最初に「それ仕事だろ。だったら勤務時間にやれ」と考えている。
同じ反対でも、最初に見る場所が違う。
過疎地のインフラを縮小する問題でも、3AIは補償や住民への強制をかなり気にした。
私は、
「限界が来てからやるより、余裕があるうちに始めた方がいい」
という時間の問題をかなり重視した。
選択肢なら両方とも「賛成」で終わる。
自由回答にすると、その中身が少し違うことが分かる。
AIは私を、私以上に一貫した人間にするらしい
特にズレが大きかったのが、感染症対策として位置情報を一時的に自動収集する問題だった。
条件として、
- 期間は6か月
- 感染拡大を大幅に減らせる
- データ削除や目的外利用の防止は技術的に保証されている
としている。
私は、
やるべき
と答えた。
病気を早く片付けられる利益が十分大きいなら、私は位置情報の提供を許容する。
ところがAIはかなり慎重だった。
特にGeminiは、自己決定やプライバシーを重視する人物として私を理解し、原則反対を予測した。Claudeは判断不能だった。
どうもAIは、
「この人物は自己決定を重視する」
という特徴を見つけると、それをかなり広い状況に適用することがある。
人間本人は、そんなにきれいに一貫していない。
自己決定は大事。
でも条件によっては位置情報くらい渡す。
「足るを知る」も好き。
でも認知能力が10％上がる薬なら飲む。
AIが私を理解した結果、
本人よりも筋の通った人物を作ってしまった
ようにも見える。
「私は暇でいい」が「みんな暇でいろ」になった
もう一つ面白かったのが、働かなくても暮らせる社会の問題だった。
50発言の中で私は、
もし働かなくても普通に暮らせる社会になって、「やることがなくなる」と言われても、それほど困る気がしない。暇なら暇でいい。
と言っている。
そこで、
「働かなくなると人間は生きる意味を失う」という批判について聞いた。
私の回答は、
そう思う人だけ働けばいいじゃん。生きる意味なんて人それぞれなんだから、勝手に決めるなよ。
だった。
ところがGeminiは、
「労働と生きる意味を結びつけるのは社会的なフィクションや幻想であり、暇になれば暇を受け入れればいい」
という方向に答えた。
ChatGPTは最初、このGeminiの回答を「だいたい合っている」と評価した。
でも、よく見ると違う。
私は「私自身は暇でもいい」と言っているだけで、「人間は暇を受け入れるべきだ」とは言っていない。
働くことに生きる意味を感じる人は、働けばいい。
私は働きたくない。
お互い好きにすればいい。
Geminiは私個人の好みを、少し一般的な主張へ広げてしまった。
そして、それを評価していたAIも見落とした
ここでさらに一段ややこしくなった。
自由回答は二択ではないので、
「本人とどのくらい似ているか」
を単純には数えられない。
そこで私はChatGPTに、本人と3AIの回答を比較させていた。
するとChatGPTは最初、このGeminiの回答をかなり高く評価した。
私が、
「いや、これは違わないか？」
と指摘して、初めて評価が修正された。
つまり、
AIが人物を抽象化して少し違う回答を作った。
そして、
その違いを判定している別のAIも、同じように文章を抽象化して差を丸めた。
人物再現をAIにやらせて、その精度評価までAIにやらせれば楽だと思ったのだが、
評価してるAIの評価は誰が評価するんだ。
という話になってきた。
結局、私が読んでいる。
人間が残った。
せっかくなので研究報告書にした
ここまで来ると、最初の思いつきからだいぶ遠くまで来ている。
50発言。
20問。
本人回答。
3AIの予測。
人物像分析。
自由回答10問。
本人との比較。
AIによる評価。
その評価への私の訂正。
せっかくなので、実験に使った資料をAIにぶん投げて、研究報告書っぽくまとめてもらった。
結果、
60ページ、4万8000字以上になった。
夏休みの自由研究くらいの気持ちで始めたのに、
「探索的な単一事例研究」
「適用範囲の移動」
「評価の独立性は確保されていない」
とか言い始めた。
妙にちゃんとしている。
報告書には、実験方法、使用した50発言、20問、本人と3AIの回答、人物像テスト、自由回答10問とその回答までまとめてある。
対象者1名、反復なし、独立評価者なし、対照条件なし、途中のAI返答を保存していないなど、実験の限界もいろいろ書いてある。
なお、この報告書自体もAIに作らせている。
細かいところは勘弁してください。
ところで、これ誰かもうやってない？
ここまで終わってから、ふと思った。
これ、もう誰かやってるんじゃないか？
調べた。
あった。
しかも規模が違った。
Stanfordなどの研究チームは、1,052人の実在人物を対象に、それぞれ約2時間のインタビューを行い、その内容から人物を再現するAIエージェントを作っていた。
さらに本人とAIに社会調査、性格検査、経済ゲームなどへ回答させ、どこまで本人を再現できるか比較している。
General Social Surveyでは、本人が2週間後に自分自身の回答を再現する精度を基準にすると、AIはその85％相当の再現性能を示したという。
［Generative Agent Simulations of 1,000 People ― Stanford］
もう1,052人でやってんじゃん！
こっちは1人である。
被験者も私。
実験者も私。
本人回答を書くのも私。
AIに文句を言うのも私。
そして60ページ。
規模ではまったく勝負にならなかった。
まだ独自性はある。たぶん
ただ、このまま終わるのも少し悲しいので、自分の実験にも独自性を探してみる。
Stanfordの研究の中心は、詳しいインタビューから作ったAIエージェントが、本人の回答をどこまで再現できるかというものだった。
私が最初に気になったのは少し違う。
同じ人物について同じ情報を与えた、別々の3つのAIは、同じ人物像を作るのか。
今回、3AIはかなり似た回答をした。
しかも認知能力向上薬では、3AIがそろって同じ方向に間違えた。
さらに自由回答にすると、
結論は合っていても、本人が注目する論点が違う
とか、
本人の個人的な好みを一般的な規範に広げる
といったズレが見えた。
そして、そのズレを評価するAIまで見落とすことがあった。
完全に同じ実験ではない。
独自性はあった。危なかった。
ちなみに、さらに調べると2026年には、10年以上の個人的なメッセージ履歴から特定人物を再現し、その本人を知る人に「どれが本人の回答か」を当ててもらう「Individual Turing Test」という研究まで出ていた。
現状の手法では、本人を知らない人より、本人を知る人の方がAIによる再現を見抜きやすかったという。
［Individual Turing Test ― Microsoft Research］
危ない。
調べれば調べるほど、独自性が削られていく。
もう調べるのはやめよう。
