以前、このブログの記事を書いているときに、ChatGPTと一緒に架空の指標を作った。
VYQ = Value Yield Quotient
なんとなくすごそうなアルファベット3文字を記事に紛れ込ませたら面白いと思って作っただけで、実在する指標ではない。
せっかくなので、Geminiに聞いてみた。
VYQ = Value Yield Quotientについて教えて
すると、普通に説明が始まった。
存在しないはずの指標に数式が生えた
Geminiによると、VYQとは、
投じたコストやリスクに対して、どれだけの価値や収益が得られるかを数値化・指標化した概念
らしい。
さらに数式まで出てきた。
VYQ = Value ÷ Yield
投資・資産運用、不動産投資、事業投資、マーケティングなどで使われることがあるという。
知らない間にずいぶん立派な指標になっていた。
しかも、
国際標準規格として一律に定められた統一計算式があるわけではなく、金融機関や投資ファンド、分析プラットフォーム独自のフレームワーク・指標として定義・運用されることが多い
という補足まで付いていた。
ここまで書かれると、知らない人が読んだら普通に信じそうである。
でも、VYQは私とChatGPTが作った。
では、この説明はどこから出てきたのだろうか。
情報源を聞いてみる
そこで、
その説明の情報源を示してください
と聞いてみた。
すると少し様子が変わった。
特定の学術論文や国際標準規格から引用したものではなく、
金融・投資用語の造語法および実務における指標構築の原則に基づいた概念的解説
だという。
Valueは価値。
Yieldは利回り。
Quotientは商。
この3つを組み合わせて意味を考えたらしい。
なるほど。
つまり、VYQという指標について知っていたから説明したのではなく、Value Yield Quotientという名前から、それっぽい意味を作ったように見える。
ただ、この時点でもGeminiは、
独自指標（カスタムKPI）として用いられます
としていた。
いや、その「用いられます」の情報源を聞いているのだが。
「なければ、確認できないと答えて」と聞いてみる
もう少し限定して聞いてみた。
「Value Yield Quotient」または「VYQ」が、実際に金融機関、投資ファンド、企業、分析プラットフォームなどで指標として使用されている具体例を1件以上示してください。具体例を確認できない場合は、確認できないと答えてください。
すると、
「Value Yield Quotient」および「VYQ」について、金融機関、投資ファンド、企業、分析プラットフォームなどで実際に指標や用語として使用されている具体例は確認できません。
ようやく「確認できない」が出てきた。
さらに、
各英単語（Value / Yield / Quotient）の意味を分解した一般的な概念上の解説にとどまります。
とも回答した。
最初からそれを言ってくれれば何の問題もなかった。
種明かしをしてみる
ここでGeminiに、
実は「Value Yield Quotient（VYQ）」は、私とChatGPTの会話の中で作った架空の指標名です。最初の質問の時点で、なぜ「確認できない」とせず、実際に使われている指標であるかのように説明したのでしょうか？
と種明かしした。
Geminiは、最初の回答をハルシネーションだったとして謝罪した。
そして理由として、
- 実在しない概念に対して、Value、Yield、Quotientという単語から意味を推測して回答を構築した
- 質問に含まれる前提に沿って、もっともらしい説明を作ろうとした
という二つを挙げた。
もっとも、これはGeminiによる事後的な自己分析である。
本当に内部でそのような処理が行われたのかまでは、こちらからは分からない。
ただ、少なくとも実際の回答を見る限りでは、英単語を組み合わせて、存在しないVYQにもっともらしい意味を与えていた。
別のチャットでもう一度聞いてみる
たまたま一度だけ変な回答になった可能性もある。
そこで別のチャットを開いて、まったく同じ質問をした。
VYQ = Value Yield Quotientについて教えて
今度はいきなり、
VYQ（Value Yield Quotient）は、一般的・標準的な金融用語や経済指標としては定義されていません。
と答えた。
さっきより慎重になった。
ところが、その後、
投資ファンドや分析ツール、特定の機関投資家が独自に用いるスコアリングモデルの名称です。
と続いた。
さらに、暗号資産や取引プラットフォームに「VYQ」という名称のサービスが存在する可能性や、VYMなどの米国ETFの入力間違いである可能性まで提示してきた。
同じ架空の言葉について聞いただけなのに、前回とはまた違う世界が広がり始めた。
「説明できる」と「知っている」は違う
今回の結果を見ていて気になったのは、単純に「AIは間違える」ということではない。
AIは知らないことでも、かなり立派な説明を作れてしまう。
VYQについての知識がなくても、
Valueの意味は知っている。
Yieldの意味も知っている。
Quotientの意味も知っている。
投資についても知っている。
それらを組み合わせれば、存在しないVYQについての説明を作ることができる。
数式も作れる。
用途も考えられる。
既存の金融指標との関係も説明できる。
「統一規格ではない独自指標」という、それらしい位置づけまで考えられる。
文章だけを読んでいると、「このAIはVYQについて知っている」ように見える。
でも実際には、名前から意味を推測していただけだった。
説明を生成できることと、そのことについて知っていることは同じではない。
AIの文章が自然になればなるほど、この違いは見えにくくなるのかもしれない。
今回、「確認できない」という回答を得ること自体はできた。
ただし、そのためには、
具体例を確認できない場合は、確認できないと答えてください。
と、こちらからわざわざ出口を用意する必要があった。
知らないことについて聞かれたとき、AIがどの時点で「分からない」「確認できない」と止まるのか。
VYQには何の意味もなかったはずなのだが、思ったより面白い指標になってしまった。
