その他の調査 Googleトレンドで振り返る2021年の日本のAI関連トレンド
１．Googleトレンドで振り返る2021年の日本のAI関連トレンドまとめ ・AIのべりすと ・ai アルデバラン ・バイデン ai ２．2021年に日本でトレンドになったAI関連キーワードとは？ アイキャッチ画像のクレジットはPhoto ...
その他の調査 
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)まとめ ・Vision Transformerはトークンの数が多くなってしまう事がボトルネックとなっていた ・本研究では多...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...
学会 NeurIPS 2021におけるGoogleの存在感
１．NeurIPS 2021におけるGoogleの存在感まとめ ・12/6(月)-12(火)に今年最大の機械学習会議であるNeurIPS 2021が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)まとめ ・BERTは主語と動詞の一致ルールで単純な経験則モデルより良い性能である ・主語と動詞が一致すべき事と高頻度の単語がより可能性が高い事を知っている ・一致が従...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)まとめ ・言語モデルは機能する理由が不透明な事が多く更なる改善の妨げになっている ・英語の主語と動詞の一致規則を正しく適用するBERTモデルの能力を調査した ・初見の...
データセット RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(2/2)
１．RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(2/2)まとめ ・RLDSはEnvLoggerやRLDS CreatorなどのツールでRL用データの収集を楽にする ・RLDSはデータセット共有ライブラリであるTF...
データセット RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(1/2)
１．RLDS: 強化学習用データセットの生成と共有をやりやすくするツール群(1/2)まとめ ・強化学習アルゴリズムの多くはエージェントが環境と大量に相互作用する学習データが必要 ・他で収集されたデータセットを再利用する事もできるが仕様がバラ...
その他の調査 AI、機械学習、データサイエンス、ディープラーニングの2021年の進展と2022年の予測リサーチ編(2/2)
１．AI、機械学習、データサイエンス、ディープラーニングの2021年の進展と2022年の予測リサーチ編(2/2)まとめ ・OpenAIのCLIPは文章と画像をつなぐ、とてもエキサイティングな可能性を提示した ・文章から画像を作成するテクノロ...
その他の調査 AI、機械学習、データサイエンス、ディープラーニングの2021年の進展と2022年の予測リサーチ編(1/2)
１．AI、機械学習、データサイエンス、ディープラーニングの2021年の進展と2022年の予測リサーチ編(1/2)まとめ ・OpenAIのCLIPは文章と画像をつなぐ、とてもエキサイティングな可能性を提示した ・文章から画像を作成するテクノロ...