学習手法 Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)
１．Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)まとめ ・モデルの規模が大きくなるとタスク毎に複数のモデルを微調整して保存することは難しくなる ・GPT-3は１つの巨大モデルでも入力を工夫すれば多様なタスクを実行...
machine learning
学習手法 
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)まとめ ・ニューラルネットワークはデータから物理法則等を学習できるが誤差が大きい ・エネルギー保存の法則など、ルールを直接学習できると効率が向上するはず ・D...
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)まとめ ・機械学習を使って鳥の唄声で種を分類する事は鳴き声の重複や自然音の混入により困難 ・音声データから自動的に対象音を分離する教師なし学習であるMixIT手法を新規...
学習手法 StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)
１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)まとめ ・StylExは分類器を説明するものであり、現実世界の分類を説明するものではない ・現実世界におけるクラスラベル間の物理的な違いを特徴付けるとは限らない ・分...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)まとめ ・連合学習はユーザーがクラウドに生データを送ることなくモデルを学習することが可能 ・各ユーザーで傾向が異なっていても全...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)まとめ ・蒸留はトレーニングを効率的に行うためのアイディアでモデルとデータセットが対象となる ・蒸留したデータセットでモデルを学習させるとメモリと計算量を減らすことがで...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...
学会 NeurIPS 2021におけるGoogleの存在感
１．NeurIPS 2021におけるGoogleの存在感まとめ ・12/6(月)-12(火)に今年最大の機械学習会議であるNeurIPS 2021が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも...
アプリケーション Federated Learningでスマートフォンのテキスト選択機能を改善(2/2)
１．Federated Learningでスマートフォンのテキスト選択機能を改善(2/2)まとめ ・プライバシーを保ちながらユーザー操作に基づいてテキスト選択を予測する手法を開発した ・その結果、Androidユーザー向けSmart Tex...
アプリケーション Federated Learningでスマートフォンのテキスト選択機能を改善(1/2)
１．Federated Learningでスマートフォンのテキスト選択機能を改善(1/2)まとめ ・Smart Text Selectionはユーザーが目的としている文字範囲を予測しコピーを楽にする機能 ・従来はWebページ内要素を検索エン...
アプリケーション スクロール操作から文章の読みやすさを予測する(1/2)
１．スクロール操作から文章の読みやすさを予測する(1/2)まとめ ・タブレットやスマートフォンなどの端末を使った読書が広く世界で一般的になっている ・スクロール操作に注目して文章を読みにくくする要因についての理解を深めることが可能 ・個人が...
その他の分野 ブレークイーブン・フュージョン実現への新たな一歩(2/2)
１．ブレークイーブン・フュージョン実現への新たな一歩(2/2)まとめ ・装置最適化に加えて装置が生成するプラズマの挙動を深く理解することを目指した ・現システムに供給できる電力限界までプラズマを安定させる事に成功してた ・10年後までにブレ...