基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある・embedding次元を決定する際はできるだけ大きなニューラルネットを使用す...
半教師
基礎理論 基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面がある・...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大・AutoM...
モデル ViT：規模拡大可能な画像認識用のTransformers(2/2)
１．ViT：規模拡大可能な画像認識用のTransformers(2/2)まとめ・画像タスク用に特化したモデルは不要であるか最適ではない可能性がある・データのサイズが増え続けており画像タスクに関する新しいアプローチが必要・ViTは視覚タスクや...
入門／解説 Image GPTの画像補完の実例
１．Image GPTの画像補完の実例まとめ・対称形なデザインはかなりの精度で補完されるが非対称デザインは凄い事になる場合がある・S、M、Lの順にオリジナル画像を補完して再現する能力が上がっているようにみえる・自然画像をそれっぽい物体を配置...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約35倍...
入門／解説 対照学習で最良のビューを選択するための原則(2/2)
１．対照学習で最良のビューを選択するための原則(2/2)まとめ・InfoMin仮説を検証のため相互情報量を徐々に減らすと逆U字型の曲線が観察される・アーキテクチャ等の違いにもかかわらず、直近の対照学習は暗黙的にInfoMin仮説に従っている...
入門／解説 対照学習で最良のビューを選択するための原則(1/2)
１．対照学習で最良のビューを選択するための原則(1/2)まとめ・異なる角度から物体をみても、それが同じ物体である事を認識するのは機械にとって困難・これを実現する主な手法は対照学習と言いラベル付きデータを必要としない自己教師型・InfoMin...
入門／解説 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった・教師無し学習でラベルなしデータセットを活用する事が標準になる未来を見...
その他 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)まとめ・音楽に関する研究から始めたため、ラベル付きデータを取得する事の困難さを味わった・そのため、ラベル付きデータの必要性を軽減する研究に関して関心...
入門／解説 第7回きめ細かい視覚分類ワークショップの開催(2/2)
１．第7回きめ細かい視覚分類ワークショップの開催(2/2)まとめ・FGVC7には6つの課題があり、そのうち4つは過去の課題の続き、2つは全く新しい課題・iWildCam、Herbarium、iMat Fashion、iMetは去年から続く動...
入門／解説 XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加してい...