モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...
その他の調査 2022年以降のAI・データ分析の10大トレンド(3/3)
１．2022年以降のAI・データ分析の10大トレンド(3/3)まとめ ・製品開発の現場ではPythonの優位性が高まるようになるかもしれない ・リアルタイムデータ分析は2022年以降のデータ分析トレンドの1つ ・DataOps、MLOps、...
その他の調査 2022年以降のAI・データ分析の10大トレンド(2/3)
１．2022年以降のAI・データ分析の10大トレンド(2/3)まとめ ・ノーコード、ローコード、クラウド化、およびサイバーセキュリティが注目を集める ・具体的な事例から洞察を得やすいスモールデータも注目を集めるかもしれない ・データプロヴァ...
その他の調査 2022年以降のAI・データ分析の10大トレンド(1/3)
１．2022年以降のAI・データ分析の10大トレンド(1/3)まとめ ・人工知能とともに働く拡張労働やモデルを直販する新しいビジネスが始まっている ・モデル開発の際に環境に配慮する事が求められる時代がやってきている ・巨大なパラメータを持つ...
その他の調査 Googleトレンドで振り返る2021年の日本のAI関連トレンド
１．Googleトレンドで振り返る2021年の日本のAI関連トレンドまとめ ・AIのべりすと ・ai アルデバラン ・バイデン ai ２．2021年に日本でトレンドになったAI関連キーワードとは？ アイキャッチ画像のクレジットはPhoto ...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)まとめ ・Vision Transformerはトークンの数が多くなってしまう事がボトルネックとなっていた ・本研究では多...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...
学会 NeurIPS 2021におけるGoogleの存在感
１．NeurIPS 2021におけるGoogleの存在感まとめ ・12/6(月)-12(火)に今年最大の機械学習会議であるNeurIPS 2021が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(2/2)まとめ ・BERTは主語と動詞の一致ルールで単純な経験則モデルより良い性能である ・主語と動詞が一致すべき事と高頻度の単語がより可能性が高い事を知っている ・一致が従...