アプリケーション Project Guideline：視力の弱い人が一人で走れるようにする(1/2)
１．Project Guideline：視力の弱い人が一人で走れるようにする(1/2)まとめ ・失明または弱視状態の人にとって支援者なしに一人でランニングすることは困難 ・Project Guidelineは路面に案内線が塗装されている様々...
視覚
アプリケーション 
モデル DeformableRavens：変形可能な物体を操作することを学ぶ(2/2)
１．DeformableRavens：変形可能な物体を操作することを学ぶ(2/2)まとめ ・硬い物体の再配置研究に使用したTransporter Networkに目標条件付けを統合 ・バッグを開いて物をいれるなど柔軟に指定された形状を操作で...
モデル DeformableRavens：変形可能な物体を操作することを学ぶ(1/2)
１．DeformableRavens：変形可能な物体を操作することを学ぶ(1/2)まとめ ・ロボットに硬い物体を掴ませる研究は多いが変形可能な物体を対象とした研究は多くない ・変形可能な物体を操作するためには物体の輪郭を指定する必要がありこ...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(3/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(3/3)まとめ ・ALIGNは風景の詳細な説明や固有地形や芸術作品などのきめ細かいレベル画像検索が可能 ・ALIGN embeddingsを使って演算するとパ...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現 ・微調整を行うとALIGNはBiTやViTなどのほ...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)まとめ ・視覚言語間マッチングモデルは文章や画像を入力して関連性の高い画像を見つけるのに役立つ ・最先端の視覚および視覚対言語モデルは厳選されたトレー...
アプリケーション スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(2/3)
１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(2/3)まとめ ・スマートフォンのアイトラッカーは、最先端のウェアラブルデバイスのアイトラッカーに匹敵 ・実験室などで使われる100倍高価なアイトラッカーから得られるデータと...
アプリケーション スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)
１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)まとめ ・眼球の運動を追跡する事はヘルスケアや様々なアプリケーションで役立つ可能性がある ・従来は高価な専用のハードウェアが必要となるため進歩の速度が限られていた ・...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)まとめ ・類似性が高いと予想される新しいペアを抽出し、そのペアを人が評価する事にした ・キャプションの類似性が高い画像同士は類似性が高い可能性がある...
データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(1/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(1/3)まとめ ・自動画像キャプションはアルゴリズムで画像の説明を作成するタスクで目覚ましい進歩を遂げた ・これにより視覚情報と言語情報を紐づける研究に利用...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(2/2)まとめ ・深淵広大なネットワークには非常に類似した特徴表現を持つ連続したレイヤーが出現する ・これはブロック構造と呼ばれデータセットサイズに対するモデルサ...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2) ・Panoptic-DeepLabは複数フレームにおける深度推定やインスタンスID付与ができない ・ViP-DeepLabは2つの連続...