ヘルスケア MICLe:自己教師あり学習で医療用画像の分類精度を向上(2/3)
１．MICLe:自己教師あり学習で医療用画像の分類精度を向上(2/3)まとめ ・SimCLRはデータ増強によってのみペアを構築するので医療用画像の特性を活用できない ・MICLeはマンモグラムの正面図と側面図など病理を複数視点から撮影した画...
data augmentation
ヘルスケア 
基礎理論 教師あり学習を使って外れ値を発見する(2/3)
１．教師あり学習を使って外れ値を発見する(2/3)まとめ ・通常の対照学習は、異常値ではない通常のサンプルの特徴表現が球上に均一に分散される ・1クラス対照学習では支障が出るため分布増強(DA:Distribution Augmentati...
モデル 拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)
１．拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)まとめ ・CDMはSR3を使って高解像度の自然画像を生成できるクラス条件付き拡散モデル ・複数の拡散モデルを繋ぎ合わせて低解像度から徐々に解像度を上げて高品質画像を生成 ・C...
学習手法 SupCon：対照学習を教師有り学習に拡張(1/2)
１．SupCon：対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習のラベル...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な効果...
入門／解説 暗記は学習ではありません！機械学習で過学習を防ぐための6つの手法
１．暗記は学習ではありません！機械学習で過学習を防ぐための6つの手法まとめ ・過剰適合とはモデルが学習に使ったトレーニング用データに特化しすぎる事 ・過剰適合は、トレーニングエラーとテストエラーの違いから検出可能 ・過剰適合の防止はデータ、...
入門／解説 対照学習で最良のビューを選択するための原則(2/2)
１．対照学習で最良のビューを選択するための原則(2/2)まとめ ・InfoMin仮説を検証のため相互情報量を徐々に減らすと逆U字型の曲線が観察される ・アーキテクチャ等の違いにもかかわらず、直近の対照学習は暗黙的にInfoMin仮説に従って...
入門／解説 対照学習で最良のビューを選択するための原則(1/2)
１．対照学習で最良のビューを選択するための原則(1/2)まとめ ・異なる角度から物体をみても、それが同じ物体である事を認識するのは機械にとって困難 ・これを実現する主な手法は対照学習と言いラベル付きデータを必要としない自己教師型 ・Info...
学習手法 SimCLR:対照学習により自己教師学習の性能を向上
１．SimCLR:対照学習により自己教師学習の性能を向上 ・同じ画像同士の特徴量を最大化しつつ違う画像同士の特徴量を最小化する事を対照学習という ・SimCLRは自己教師および半教師でありながら対照学習により教師あり学習に迫るスコアを達成 ...
ビッグデータ データ拡張を教師なしで実現し半教師付き学習の性能を向上(2/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(2/2)まとめ ・UDA、教師なしデータ拡張を使うと半教師付き学習が教師付き学習を上回る性能を出すようになる ・拡張元となるラベル付きデータが少なくとも多くとも教師付き学習の最先端...
入門／解説 データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)まとめ ・ラベル付きデータが不足している際にデータを水増しする手法は進歩している ・しかし、基本的には教師付き学習でのみ利用可能な手法であった ・今回、ラベルなしデータを教...
入門／解説 SpecAugment：音声認識のために学習データを水増しする(2/2)
１．SpecAugment：音声認識のために学習データを水増しする(1/2)まとめ ・SpecAugmentにより学習データの追加でパラメータ等を変更せずともネットワークの性能向上が可能 ・またSpecAugmentは故意に破損したデータを...