その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(1/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(1/6)まとめ ・ここ数年でモデルのパラメータ数は数十億規模から数千億または数兆にスケールアップした ・様々なタスクに対して最適化された部分のみを活性化す...
dahara1
その他の調査 
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)まとめ ・部分的端末内連合学習のための手法であるFederated Reconstructionを発表 ・Federated ...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)まとめ ・連合学習はユーザーがクラウドに生データを送ることなくモデルを学習することが可能 ・各ユーザーで傾向が異なっていても全...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)まとめ ・蒸留したデータセットは、画像分類データセットにおいて最先端の性能を達成 ・分散システムを利用してデータセットは数百のGPUを利用して作成した ・蒸留したデータ...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)まとめ ・蒸留はトレーニングを効率的に行うためのアイディアでモデルとデータセットが対象となる ・蒸留したデータセットでモデルを学習させるとメモリと計算量を減らすことがで...
インフラ Google Colaboratoryの2021年の進化
１．Google Colaboratoryの2021年の進化まとめ ・DataFrameを直接俯瞰したり変数インスペクターによりデバッグが非常に楽になった ・実行履歴の確認や、一時的なセルへのコピーが可能になり試行錯誤がやりやすくなった ・...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(2/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(2/2)まとめ ・静的変数の最大の重みは店舗と商品、将来変数の最大の重みは広告期間と国民の祝日 ・TFTはハードコーディングなしに持続的な時間的パターンを学習する事が出来ていた ・TFT...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(1/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(1/2)まとめ ・複数の時間間隔で関心のある変数の将来を予測することは時系列機械学習における重要な課題 ・従来の時系列モデルはモデルがどのようにして予測に至ったかを説明することは困難 ・...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的 ・事前トークン化とWordPiece化を直接実...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...