学習手法 KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(2/2)
１．KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(2/2)まとめ ・ラベルが豊富な転移元に対してHGNNモデルと分類器を事前に訓練し、同じHGにあるラベルが少ない転移先に対してモデルを再利用する手法を考...
transfer learning
学習手法 
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)まとめ ・RRLでは教師にポリシーベースRL、生徒をバリューベースRLにする事も可能 ・RRLは教師への非依存、教師からの脱却、計算・サンプルの効率化を実現 ・ゼロから学...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)まとめ ・事前学習を３ステップにする事で最大で600倍少ないデータで高品質なモデルを学習可能 ・この手法はモデルのアーキテクチャやデータセットに依存しないことが...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)まとめ ・胸部X線画像は一般に他の医療用画像診断よりも安価で身近な存在だが有効活用できていない ・機械学習モデルは有効活用に貢献するが大規模なラベル付きデータは...
モデル LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)
１．LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)まとめ ・転移学習は精度は高いがタスク毎に手間がかかり対照学習はその逆で性能面に難があった ・LiTは画像エンコーダの学習をロックする事でこの性能ギャップを半...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(2/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・差分プライバシーのプライバシーと実用性の両立は様々な工夫が必要となる ・フルバッチトレーニングと公開データを使った転移学習を組み合わせた ・DP-SGDはJAXで高...
アプリケーション Project Guideline：視力の弱い人が一人で走れるようにする(2/2)
１．Project Guideline：視力の弱い人が一人で走れるようにする(2/2)まとめ ・既存のデータセットは自動運転車用でランニング用途の学習に使う事が難しかった ・自動運転車用データ、合成データ、本当のランニングデータの３段階で転...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
学習手法 GO：グラフ最適化用強化学習(3/3)
１．GO：グラフ最適化用強化学習(3/3)まとめ ・GOはオフライントレーニングとわずかな微調整で初見のグラフにも一般化可能 ・全タスクを一度に最適化するマルチタスクGOはシングルタスクGOより7.8％速度が向上 ・フレームワークの最適化問...
入門／解説 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ ・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった ・教師無し学習でラベルなしデータセットを活用する事が標準になる未来...
その他 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)まとめ ・音楽に関する研究から始めたため、ラベル付きデータを取得する事の困難さを味わった ・そのため、ラベル付きデータの必要性を軽減する研究に関して...
基礎理論 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)まとめ ・標準的な視覚タスクベンチマークでBiT-Lを評価し少数セット設定でなくとも効果的である事が判明 ・タスク毎にハイパーパラメータを調整をせず...