モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現・微調整を行うとALIGNはBiTやViTなどのほとん...
モデル モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)まとめ・視覚言語間マッチングモデルは文章や画像を入力して関連性の高い画像を見つけるのに役立つ・最先端の視覚および視覚対言語モデルは厳選されたトレーニン...
アプリケーション スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(3/3)
１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(3/3)まとめ・アイトラッカーは覚醒状態や健康状態を検出するためのツールとして使用可能・精神的疲労感がある人とない人では視線の軌跡が大きく変わる事などを利用する・ALS、脳卒...
アプリケーション スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(2/3)
１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(2/3)まとめ・スマートフォンのアイトラッカーは、最先端のウェアラブルデバイスのアイトラッカーに匹敵・実験室などで使われる100倍高価なアイトラッカーから得られるデータとも類...
アプリケーション スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)
１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)まとめ・眼球の運動を追跡する事はヘルスケアや様々なアプリケーションで役立つ可能性がある・従来は高価な専用のハードウェアが必要となるため進歩の速度が限られていた・スマー...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)まとめ・文対文タスクと画像対文タスクでトレーニングされたマルチタスクモデルが最も優秀だった・文対文のトレーニングを追加すると画像対文、文対画像でパフ...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)まとめ・類似性が高いと予想される新しいペアを抽出し、そのペアを人が評価する事にした・キャプションの類似性が高い画像同士は類似性が高い可能性があるので...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(1/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(1/3)まとめ・自動画像キャプションはアルゴリズムで画像の説明を作成するタスクで目覚ましい進歩を遂げた・これにより視覚情報と言語情報を紐づける研究に利用可能...
モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)まとめ・FELIXは完全に非自己回帰であり最先端のスコアを達成しながら高速な推論を実現可能・事前トレーニングとマスク言語モデルを念頭に必要なトレーニングデータの量...
モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)まとめ・seq2seqは自然言語生成タスクで好まれるが単一言語が対象の際は最適でない可能性・自己回帰で低速であり単一言語では入力が出力にコピーされるだけの事が多く...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(2/2)まとめ・深淵広大なネットワークには非常に類似した特徴表現を持つ連続したレイヤーが出現する・これはブロック構造と呼ばれデータセットサイズに対するモデルサイズ...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)まとめ・ニューラルネットワークの性能を調整する際はネットワークの深さや幅が調整される・しかし精度以外にこれらの違いがどのように影響するかについての理解は深...