学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
人工知能/機械学習
学習手法 
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)まとめ ・Vision Transformerはトークンの数が多くなってしまう事がボトルネックとなっていた ・本研究では多...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...
学会 NeurIPS 2021におけるGoogleの存在感
１．NeurIPS 2021におけるGoogleの存在感まとめ ・12/6(月)-12(火)に今年最大の機械学習会議であるNeurIPS 2021が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)まとめ ・BERTは主語と動詞の一致ルールで単純な経験則モデルより良い性能である ・主語と動詞が一致すべき事と高頻度の単語がより可能性が高い事を知っている ・一致が従...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)まとめ ・言語モデルは機能する理由が不透明な事が多く更なる改善の妨げになっている ・英語の主語と動詞の一致規則を正しく適用するBERTモデルの能力を調査した ・初見の...
データセット RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(2/2)
１．RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(2/2)まとめ ・RLDSはEnvLoggerやRLDS CreatorなどのツールでRL用データの収集を楽にする ・RLDSはデータセット共有ライブラリであるTF...
データセット RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(1/2)
１．RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(1/2)まとめ ・強化学習アルゴリズムの多くはエージェントが環境と大量に相互作用する学習データが必要 ・他で収集されたデータセットを再利用する事もできるが仕様がバラ...
モデル MURAL:ヒンディー語で野菜を入れない麺が入った丼を検索されても対応画像を探せる人工知能(2/2)
１．MURAL:ヒンディー語で野菜を入れない素の麺が入った丼を検索されても対応画像を探せる人工知能(1/2)まとめ ・翻訳ペアを用いて共同で学習させるとリソース不足言語のクロスモーダル検索能力を向上可 ・また、マルチモーダルモデルは言語同士...
モデル MURAL:ヒンディー語で野菜を入れない麺が入った丼を検索されても対応画像を探せる人工知能(1/2)
１．MURAL:ヒンディー語で野菜を入れない素の麺が入った丼を検索されても対応画像を探せる人工知能(1/2)まとめ ・概念の多くは、ある言語から別の言語への直接的に一対一に翻訳する事ができない ・連想するものが異なるためだが概念のイメージを...
入門／解説 Amazon SageMaker Studio Lab：無料版Google Colabの強力なライバル
１．Amazon SageMaker Studio Lab：無料版Google Colabの強力なライバルまとめ ・Amazon SageMaker Studio LabはAmazonが提供する無料のJupyterLab環境 ・Google...
ロボット Implicit BC：ロボットが優柔不断な行動を学習しないようにする(2/2)
１．Implicit BC：ロボットが優柔不断な行動を学習しないようにする(2/2)まとめ ・教師あり学習による行動クローニングはロボットが人間から学習する最も簡単な方法の一つ ・行動クローニングを行う際には暗黙的なポリシーでより複雑で正確...