機械学習に1800以上のムンクの絵画を学ばせる(2/2)

１．機械学習に1800以上のムンクの絵画を学ばせる(2/2)まとめ

・髪の毛と帽子の区別や雪の認識など人間でも判別が難しいレベルのものもあった
・完成したデータベースにより従来は難しかった分析や絵画の楽しみ方が可能になった
・ムンクの一番良く知られている作品は「叫び」であるが力強い「太陽」シリーズも素晴らしい

２．人間でも困難な絵画の分類を人工知能で実現する

以下、www.artnome.comより「Searching All 1800+ Of Munch’s Paintings With Machine Learning」の意訳です。元記事の投稿は2017年10月9日、Jason Baileyさんによる投稿です。前半はこちら。

帽子の認識：毛深い問題

帽子を識別するために画像認識を使用するのは難しいことがわかりました。帽子認識の問題とは、髪の毛と帽子の違いを区別することです。ムンクの絵画の多くでは簡単なことではありません。例として、1908年以降のHelge Rode氏の肖像画をご覧ください。

HELGE RODE Oil in Canvas, 1908

彼は帽子をかぶっていますか？私たちのカスタム人工知能は約30％の確率で帽子を被っていると判断しました。そして正直に言うと私たちはその判断に同意しがちです。Rode氏が非常に印象的で変わったヘアスタイルをしており、帽子をかぶっていないことに気付いたのは、Helge Rode氏の肖像写真(下図)を確認した後でした。このような手作業による介入が必要な絵は、人工知能が相対している問題の困難さに対して私達の同情心を引き起こしました。

以下に、私たちの人工知能による「帽子」のスコアが最も高くなった3つの絵があります。

雪もまた厄介な概念でした。帽子と同じように、雪の概念は多くの誤検知を誘発しました。大きな白い斑点のある絵、あるいは初期のスケッチや未完成の作品は、ほとんど雪が降っていると予測されてました。自分の目で確かめても雪と判断して良いのか私にはわからないケースもありました。

以下の絵では人工知能は、雪である可能性を25％以下と判断しました。確かに見ただけでは確実な事は言えませんでした。幸いなことに、”Street Workers in Snow”というタイトルがこの曖昧さの解消に役立ちました。私の妻が言ったように、機械学習モデルは奇術のようなものですが、魔法ではありませんでした。つまり、常に限界があるということです。

参考のために、雪である可能性が高いと予測された絵のベスト３を以下に示します。

木、帽子、雪にタグを付けることに加えて、我々は男性、女性、建物、ボート、そして水を検出することに相当なレベルで成功しました。

これはなぜ重要なのでしょうか？
絵画内のオブジェクトにタグを付けると、簡単な検索で、アーティストの作品全体を捜して同様の作品をまとめ上げることができます。あなたがムンクが描いた女性の絵を全て見たかったとしましょう。タイトルのみで検索する場合は、次のようになります。

絵画のタイトル内に存在する単語の頻度
– 「woman」を含む54点の絵画
– 「women」を含む17点の絵画
– 「girl」を含む19枚の絵画
– 「female」を含む14点の絵画
– 合計104絵画

「SUMMER NIGHT’S DREAM. (THE VOICE)」Oil on Canvas, 1893
タイトルからは絵画の中心に女性が存在する事はわかりません。

私達が今回追加したタグを使用して、”female”を検索すると、542件の絵画が表示され、結果が5倍以上増加します。人工知能の精度が改良されるにつれて、この数はますます増えます。

これにより、「木」や「水」などの一般的な用語を使用して作品を簡単に見つけることができるだけでなく、新しい分析や比較を行う事が可能になります。ムンクが書いた男性を対象にした絵と女性を対象にした絵の比率は彼のキャリアでどのように変わっていきましたか？彼は屋内と屋外のどちらの絵をより多く描きましたか？彼の屋内対屋外の比率はゴッホとどのように異なっていますか？果物を含んでいるムンクの絵画はいくつありますか？どんな果物ですか？ヌード対衣服を着た人の絵画の比率はいくつですか？男性よりも女性のヌードが多いですか？もしそうなら、いくつですか？

結論
ムンクは、死と苦しみと心の痛みを伴う作品、つまり「叫び」で知られるアーティストですが、私のお気に入りの絵は、ムンクの輝く太陽のシリーズです。これらの作品群は私がそれらを見るたびに私を幸せな気分にしてくれます。しかし、私が今回の作業、つまりムンクの全ての絵画を更に詳しく検索する機会がなかったならば、これらの作品群が存在する事を私は知る事はなかったでしょう。本データベースは皆さんがムンクの作品から新しいお気に入りの絵を探求し発見するのを助け、エドヴァルド・ムンクと彼の作品に叫びとは異なった観点から感謝の気持ちを育むでしょう。

訳注）2018年12月現在、残念ながら検索ページは機能していない模様です。

ムンクの絵画や将来データベースに追加されるアーティストによる作品群をどのような特徴で検索したいと思いますか？何か推奨事項はありますか？Artnomeコミュニティーに参加して質問したり、トピックを調べたりして、私達がデータベースを改良する事を助けてください。

THE SUN Oil on Canvas 1911