インフラ Google Colaboratoryの2021年の進化
１．Google Colaboratoryの2021年の進化まとめ ・DataFrameを直接俯瞰したり変数インスペクターによりデバッグが非常に楽になった ・実行履歴の確認や、一時的なセルへのコピーが可能になり試行錯誤がやりやすくなった ・...
人工知能/機械学習
インフラ 
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(2/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(2/2)まとめ ・静的変数の最大の重みは店舗と商品、将来変数の最大の重みは広告期間と国民の祝日 ・TFTはハードコーディングなしに持続的な時間的パターンを学習する事が出来ていた ・TFT...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(1/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(1/2)まとめ ・複数の時間間隔で関心のある変数の将来を予測することは時系列機械学習における重要な課題 ・従来の時系列モデルはモデルがどのようにして予測に至ったかを説明することは困難 ・...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的 ・事前トークン化とWordPiece化を直接実...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)まとめ ・Vision Transformerはトークンの数が多くなってしまう事がボトルネックとなっていた ・本研究では多...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...
学会 NeurIPS 2021におけるGoogleの存在感
１．NeurIPS 2021におけるGoogleの存在感まとめ ・12/6(月)-12(火)に今年最大の機械学習会議であるNeurIPS 2021が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも...