最新の人工知能はスタジオジブリの映画を知っているのか？

１．最新の人工知能はスタジオジブリの映画を知っているのか？まとめ

・最新の人工知能はジブリの映画を記憶しているのではないかと言う疑惑があった
・「ジブリ映画の画像」と「英語版タイトル一覧」を与えてゼロショット分類して貰った
・海外で有名な作品でポスターなどに使われている有名な場面であれば相当な確度で分類可能

２．ジブリ映画のタイトルを画像から人工知能に回答してもらう

アイキャッチ画像はSTUDIO GHIBLIが「常識の範囲でご自由にお使いください」との断り書きで一般公開してくださっている千と千尋の神隠しの作品静止画集より引用

以前、「最新の人工知能はスタジオジブリの名場面をどこまで認識できるのか？」で、人工知能にジブリ映画の名場面を与えて、画面内に写っているものが何なのかを分類して貰った事があります。

中々の正答率で興味深かったのですが、とても気になる事がありました。例えば、「ハウルの動く城」と言う作品では、主人公の住居がお城なのですが、このお城は足で飛んだり跳ねたり移動が可能で、上部には要塞のような砲塔や煙突などが乱立しており、一般的な「城(Castle)」のイメージとは似ても似つかないのにハウルの城の場面を見て「Castle」と見事に当ててきたのです。

従来の人工知能は「沢山の学習用の画像(例えば沢山の猫の画像)」と「その画像が何であるのかを説明するラベル」のセットから学習していました。そのため、学習完了後に与えられた画像が「猫」の画像か否かは答える事が出来ますが、学習用の画像内に含まれていなかった「犬」の画像を与えられると対応できませんでした。

しかし、OpeAIが開発し、CLIPと名付けられた今回の人工知能は、インターネットから自動収集した情報を元に学習しているため、何をどのように学んだのかがハッキリとわかっていません。そのため、もしかしたらスタジオジブリの作品を既にインターネットで収集した情報から知っていたので「Castle」と答える事が出来たのではないか？と言う疑惑です。

と言う事で、以下、CLIPに「スタジオジブリの名場面の画像」と「スタジオジブリの映画の英語版タイトル一覧」を与えて、「どの画像がどの映画なのか？」を分類して貰いました。

ちなみにCLIPはジブリ映画の画像分類を行うなどと言うマニアックな作業を行うための訓練は一切受けていないはずですが、このように今までやった事のない作業を与えられてもすぐに対応できる能力の事を「ゼロショット」と言い、今後の人工知能の能力を測る上でキーワードとなっていく言葉です。

（１）「となりのトトロ」と「千と千尋の神隠し」

「千と千尋の神隠し(英語版タイトル：Spirited Away)」と「となりのトトロ(英語版タイトル：My Neighbor Totoro)」です。やっぱり知ってたんだと思いつつ、トトロはジブリ映画の最初に表示されるくらいの著名キャラクターですし、千と千尋もアカデミー賞ですからね、知ってる可能性がたかいところを選んでいるので、まぁ、それほどでもない。

（２）「ゲド戦記」と「風の谷のナウシカ」

「ゲド戦記(英語版タイトル：Tales from Earthsea)」、「風の谷のナウシカ(英語版タイトル：Nausicaä of the Valley of the Wind)」も当ててきましたね。ゲドの原作は元々、ハリポッター以前から有名なファンタジー小説なので、海外ではやはり有名なのかもしれません。そして、ナウシカは私の好きな名場面なので、一般常識として人工知能にも当然知っておいていただきたい。

（３）「もののけ姫」と「ハウルの動く城」

「もののけ姫(英語版タイトル：Princess Mononoke)」と「ハウルの動く城(英語版タイトル：Howl’s Moving Castle)」も当然のように、と言うか確率(probability)がほぼ100%なので、相当な確信を持って回答してますね。

（４）「風立ちぬ」と「魔女の宅急便」

「風立ちぬ(英語版タイトル：The Wind Rises)」と「魔女の宅急便(英語版タイトル：Kiki’s Delivery Service)」。これ、どうですか、この確信を持った回答。と言うか、CLIP君はネットサーフィンで遊び過ぎだろ、一体君は何を学んでいるのかねと。

まとめ

・本日はエイプリルフールですが、人類にとって幸か不幸かこれはエイプリルフールネタではありません。本音を言うとエイプリルフールネタになるかもな、的な心づもりも少しあったのですが、想像を遥かに超えるあまりの精度の高さにネタになりませんでした。

・日本語のタイトルを与えると全く分類できなかったので英語版のタイトルを覚えているようです

・一部の作品、特に残念な事に「天空の城ラピュタ」を認識する事が出来ないようでした。これはジブリが有名になる前の作品なので海外での知名度がやや劣るのであろう事や北米版のタイトルが「Castle in the Sky」とLaputaが入っていないので、特徴的な単語がなく覚えにくかったりするのかな、と推測されます。私は純粋な冒険活劇でとても好きなのですけれども。

・認識できている映画であってもマイナーな場面の画像では間違える事がありました。千と千尋とナウシカの予測にやや迷いが見えるのは、２場面とも私の知る限りはポスターなどには使われていないはずの画面です。その他の画像はポスターなどに使われている絵、もしくはポスターなどに絵面が近い画像をピックアップしています。