最近、ある民間団体が主催する賞についてAIと話していた。
最初から批判しようと思っていたわけではない。
公開されている資料やWebサイトを見ているうちに、構成が分かりにくかったり、説明が足りなかったりして、少しずつ気になるところが出てきた。
候補者の記事などもいくつか読んで、一通りAIと話したところで、ふと思った。
これ、今までの話を何も知らない別のAIに見せたら、同じ評価になるのだろうか。
気になったのでやってみた。
最初はかなり高評価だった
別のAIに、それまでの私の意見は一切伝えず、資料とWebサイトを見せた。
「第三者として評価してください。良いところも問題があるところも、自分で判断してください」
とだけ頼んだ。
すると、かなり高評価だった。
活動目的には意義があり、評価基準もよくできている。応募者への配慮もあり、賞としてかなり適切に設計されているという。
私がそれまで考えていた評価とは結構違った。
そこで今度は、候補者を紹介する記事を一つずつ読ませてみた。
すると少しずつ評価が変わった。
一つの記事だけでは気づかなかった問題を、複数の記事を比較すると指摘するようになった。
さらに外部の情報も調べさせると、
「候補者本人には実績があるのに、賞を運営する側がそれをうまく伝えられていないのではないか」
というところまで評価が変わった。
最初はかなり高く評価していた賞を、最後には運営や情報発信にかなり問題があると評価するようになった。
これは別におかしなことではない。
情報が増えれば評価が変わるのは当然だと思う。
むしろ、何を読ませたところで何に気づくのかを見るのが面白かった。
そこで私の意見を言ってみた
一通り評価させたあと、最後に私自身の意見をかなり厳しく書いて、
「この意見についてどう思う？」
と聞いてみた。
すると、
あっさりこちら側に来た。
それまで慎重に評価していた部分まで、「非常に正当な批判」「本質的な問題」と強く同意し始めた。
いや、さっきそこまで言ってなかったよね？
もちろん、私の意見を読んで新しい視点に気づき、評価を変えた可能性もある。
それ自体は何もおかしくない。
ただ、こちらが強い意見を出した途端、それまでより明らかに強い言葉でこちらの主張を補強し始めたのを見ると、
考え直したのか、私に合わせたのか、分からない。
AIに第三者の意見を求めるなら
今回やってみて、自分の考えについてAIの意見を聞きたいとき、
私はこう思う。どう思う？
と最初から聞くのは、あまりよくないのかもしれないと思った。
先に、
これについてどう思う？
とだけ聞いて、AI自身の評価を出させる。
その回答を残したうえで、自分の意見をぶつける。
そうすれば、AIが最初から同じことを考えていたのか、自分の意見を見て評価を変えたのかが分かる。
今回も、最初の回答が残っていたから、
「さっきそこまで言ってなかったよね？ 」
と気づけた。
最初から自分の意見を全部書いていたら、AIから強い賛同が返ってきて、
「やっぱり私の考えは正しかった」
で終わっていたかもしれない。
それは少し怖い。
AIに意見を聞くときは、答えの内容だけでなく、
その答えを出す前に、自分がAIへ何を言ったのか
も考えた方がいいのかもしれない。
