その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(3/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(3/6)まとめ ・個人スマホがプライバシーを保ったまま世界中のスマホと共同して学習する事が可能な時代 ・世界のデータを使いつつ状況に応じて個人に最適化出来...
その他の調査 その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(2/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(2/6)まとめ ・新ハードウェアやアルゴリズムの改良、学習手法の進歩によってMLの効率性が継続的に向上 ・最先端の性能を維持または改善しながら、計算量や速...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(1/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(1/6)まとめ ・ここ数年でモデルのパラメータ数は数十億規模から数千億または数兆にスケールアップした ・様々なタスクに対して最適化された部分のみを活性化す...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)まとめ ・部分的端末内連合学習のための手法であるFederated Reconstructionを発表 ・Federated ...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)まとめ ・連合学習はユーザーがクラウドに生データを送ることなくモデルを学習することが可能 ・各ユーザーで傾向が異なっていても全...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)まとめ ・蒸留したデータセットは、画像分類データセットにおいて最先端の性能を達成 ・分散システムを利用してデータセットは数百のGPUを利用して作成した ・蒸留したデータ...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)まとめ ・蒸留はトレーニングを効率的に行うためのアイディアでモデルとデータセットが対象となる ・蒸留したデータセットでモデルを学習させるとメモリと計算量を減らすことがで...
インフラ Google Colaboratoryの2021年の進化
１．Google Colaboratoryの2021年の進化まとめ ・DataFrameを直接俯瞰したり変数インスペクターによりデバッグが非常に楽になった ・実行履歴の確認や、一時的なセルへのコピーが可能になり試行錯誤がやりやすくなった ・...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(2/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(2/2)まとめ ・静的変数の最大の重みは店舗と商品、将来変数の最大の重みは広告期間と国民の祝日 ・TFTはハードコーディングなしに持続的な時間的パターンを学習する事が出来ていた ・TFT...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(1/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(1/2)まとめ ・複数の時間間隔で関心のある変数の将来を予測することは時系列機械学習における重要な課題 ・従来の時系列モデルはモデルがどのようにして予測に至ったかを説明することは困難 ・...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的 ・事前トークン化とWordPiece化を直接実...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...