Mood Board Search：「平穏な」などの主観的な概念を使った画像検索を可能にする(2/2)

１．Mood Board Search：「平穏な」などの主観的な概念を使った画像検索を可能にする(2/2)まとめ

・ユーザが作成したムードボードに対するモデルの感度を見つけるためにCAVを使用
・各ムードボードがCAVを作り、ツールが画像データセットを検索して最も近い画像を選ぶ
・データセットの各画像を15種類の方法でセグメント化し、多くの関連する構図を発見可能

２．Mood Board Searchの用途

以下、ai.googleblog.comより「Enabling Creative Expression with Concept Activation Vectors」の意訳です。元記事は2022年7月7日、Been KimさんとAlison Lentzさんによる投稿です。

アイキャッチ画像はlatent diffusionでプロンプトはMood Board

これは、私たちが2018年にオープンソース化した研究アプローチで、その後、この研究は医療アプリケーションや科学に広く応用され、機械が見たものに対してより良い説明を提供できるMLアプリケーションを構築しています。一般的なembeddingベクトルについては、2016年のGoogle AIブログの記事で、TCAVを扱う私たちのアプローチについては、ICLRでのBeen KimのKeynoteで詳しく知ることができます。

Mood Board Searchでは、ユーザが作成したムードボードに対するモデルの感度を見つけるためにCAVを使用します。言い換えれば、それぞれのムードボードがCAV(embedding空間における方向)を作り、ツールは画像データセットを検索し、CAVに最も近い一致する画像を浮上させるのです。しかし、このツールはさらに一歩進んで、データセットの各画像を15種類の方法でセグメント化し、できるだけ多くの関連する構図を発見することができるのです。これは、フォーカスモードやAIクロップなどの機能の背後にあるアプローチです。

3人のアーティストが、自分たちの視点を共有するために作ったビジュアルコンセプトを、デザイン発明スタジオ「Nord Projects」の実験的アプリで紹介します。

embeddingベクトルは、学習してモデル間で再利用することができるため、ムードボードサーチのようなツールは、私たちの視点を他の人に表現するのに役に立ちます。

クリエイティブなコミュニティとの初期のコラボレーションでは、主観的な経験を作成し、他の人と共有できることに価値があることが示されています。

その結果、「視覚的に類似したエコーチェンバーから抜け出す」または「他の人の目を通して世界を見る」ことができるようになったのです。

また、モデルと人間の理解の間にズレがあっても、コラボレーターにとっては予想外の刺激的なつながりになることが多いようです。これらの知見を総合すると、個人的・集団的な主観を取り入れた新しい協調的MLシステムの設計方法を示唆しています。

結論と今後の課題

本日、私たちはMood Board Searchのコードをオープンソース化しました。これには、コラボレーターによって作られた3つのビジュアルコンセプトと、Mood Board Search Pythonライブラリが含まれており、CAVのパワーを直接自分のWebサイトやアプリに取り込むことができます。

これらのツールは初期段階のプロトタイプですが、この機能は、未整理の画像コレクションの探索から、共同作業や共有可能な成果物への見え方の外部化まで、幅広い応用が可能であると信じています。

すでに、デザイン発明スタジオNord Projectsによる、Mood Board Searchを使った実験的なアプリでは、カメラでCAVをリアルタイムに実行する機会を調査しています。将来的には、Mood Board Searchを使って、人間と機械のコラボレーションの新しい形を学び、MLモデルやテキストや音声などの入力を拡張して、媒体に関係なく、さらに深い主観的な発見を可能にすることを計画しています。

もし、あなたのチームや組織でこの作品のデモに興味があれば、cav-experiments-supportまでメールをください。

謝辞

このブログは、以下の研究者による研究を紹介しています(アルファベット順)。Kira Awadalla, Been Kim, Eva Kozanecka, Alison Lentz, Alice Moloney, Emily Reif, and Oliver Siy, Nord Projectsとの共同共同作業。

共著者のEva Kozanecka、アーティストの共同作業者であるAlexander Etchells、Tom Hatton、Rachel Maggart、ベータプレビューに参加してくれたThe British LibraryのImaging team、この研究プロジェクトを支援してくれたBlaise Agüera y Arcas、Jess Holbrook、Fernanda Viegas、Martin Wattenbergに感謝します。