１．人間にあってchatGPTにないもの
・chatGPTは文章から学習しており物理世界を体験した事がないため物理的なルールに関する常識を持たない
・chatGPTは一見、良さそうに見えても完全に誤っている回答をしてしまう時が1割から2割程度ある
・文章生成AIのchatGPTはプログラム生成AIやイラスト生成AIと同じ構図だが受け止められ方が異なる
２．人間の頭の中にある物理世界のモデル
以下、twitter.comよりディープラーニングの先駆者の一人Yann LeCun(@ylecun)さんの投稿の意訳です。元tweetの投稿は2023年1月28日です。
主に人工知能開発時に使用されるプログラミングフレームワークであるPyTorchを人間にレクチャーする事さえも可能な驚異的な性能を持つと話題の人工知能chatGPTの盲点に関する考察です。
アイキャッチ画像はstable diffusionのカスタムモデルによる生成。紙を使った実験をしようとしているナウシカ。左側に描いたテトが獣人化してしまうのも根っこは本件と同じ現象です。
chatGPTが見てしまう幻覚
両手で紙を水平に持ち、片手を離すとどうなりますか？
両手で紙を水平に保持していた場合、手を離した方向に紙が傾いたり回転したりすることがあると思います。これは、紙が左右均等に保持されなくなり、重量配分が不均一になったためです。紙が軽ければ、手を離した側に流れていって、地面に落ちてしまいます。紙がもう少し重ければ、あるいは強く握っていれば、空中にしばらくとどまってから落下します。
chatGPTのような大規模言語モデル(LLM:large language models)は文書だけを使って学習しているため、物理的なルールに関する直感を持ちません。膨大な記憶から連想して類似した質問に対する答えを取り出すことができれば、物理的直感が必要な質問にも正しく答えることができるかもしれません。しかし、完全に間違った答えを出すこともあります。
上の例は、Alex Kantrowitzのポッドキャストでインタビューを受けた時に思いつきました。ChatGPTの回答は聞こえは良いのですが、まさに逆なのです。面白いことに、Alexはインタビュー中にその回答を素早く読み上げましたが、それが間違っていることにすぐには気づきませんでした。
(訳注：後半部分が紙が落下する事が前提なので違和感にはすぐ気づいたかと思うのですが、前半部分が「手を離した方向に紙が傾いたり回転したり…」と逆方向に間違っている事に皆さんはすぐ気づけたでしょうか？私は見過ごしました)
私たちは頭の中に現実世界に関するモデルを持っています。そのモデルを頭の中で使う事によって何が起こるかをシミュレーションすることができます。この精神的なモデルが私たちに常識を与えてくれるのです。
大規模言語モデルにはそれがありません。
Webbigdataによる補足
linkedin.comの元投稿内ではchatGPTが誤った回答をしてしまう、つまり幻覚(Hallucinate)を見てしまう割合は15%から20%くらいではないかとの事。
幻覚とは、自然言語処理の分野では「提供された元コンテンツ(つまり学習元データ)に対して無意味、または基づいていないコンテンツを生成してしまう事」と定義されています。
本件、chatGPTのリリース時にも「chatGPTは、時々、もっともらしく読めますが、不正確または無意味な答えを書くことがあります」と明記されているので、ある意味、既知の問題とは思います。
しかし、GoogleやMeta(FaceBook)が、chatGPTに勝るとも劣らない実力を持っていそうなAIを既に持っているのに製品化していなかった理由は「責任あるAI(Responsible AI)宣言」に加え、こういった問題を解決しないまま公開してしまうと「FaceBookが堂々と虚偽を流布する人工知能を公開した！」や「Googleがインターネット上の私達のコンテンツを無断盗用して人工知能を学習させた！」等々の受け止められ方が予想され、政治介入などもあり得るからだと思います。
プログラムを自動生成可能なAIであるGitHub Copilotやイラスト生成AIのStable diffusionが様々な観点から問題視される事が多いのにくらべると、chatGPTが超先進的な未来のAIとして比較的好意的に受け止められている傾向を感じていますが、実は構図は全く同じです。
バズフィードというアメリカのオンラインニュースサイト運営企業が、今後、記事の執筆にchatGPTを採用する事を発表しただけで株価が2倍強になったのですが、記者、ライター、ブロガー、執筆業の方々にとっては、chatGPTで便利になる側面もありますが、自分達が書いた文章を元に学習したであろうAIが自分達の居場所／職を徐々に代替しはじめているという側面もあるのです。
chatGPTとGitHub Copilot、Stable diffusionの受け止められ方の違いが何から来ているのか？
理由を推測し、今後、世の中の流れがどうなっていきそうかを考えてみるのは面白いかもしれません。
なお、去年の時点でロボットと大規模言語モデルの統合はかなり進展しており、大規模言語モデルを介してロボットにリアルタイムで自然な表現で指示する事が可能になっています。つまり、大規模言語モデル→ロボット→物理世界の流れは出来ているので、逆方向の、物理世界→ロボット→大規模言語モデルのフィードバックを受けて学習する仕組みがもっと充実してくればこの問題も解決に近づくのではないかと思っています。
３．人間にあってchatGPTにないもの関連リンク
１）twitter.com
Yann LeCun(@ylecun)
２）linkedin.com
Stanislas (Stan) Bertelootさんの投稿
