その転移学習は本当に有用なのか？(2/3)
- 2019.12.11
１．その転移学習は本当に有用なのか？(2/3)まとめ ・大きなモデルの下位レイヤーでは学習による重みの変化が小さく特徴表現はかなり再利用される ・大きなモデルでも小さなモデルでも上位レイヤーでは重みの変化が大きく特徴表現はあまり再利用されない ・小さなモデルの下位レイヤーでは学習による重みの変化が大きく特徴表現は適度に再利用される ２．特徴表現の分析 以下、ai.googleblog.comより「 […]
その転移学習は本当に有用なのか？(1/3)
- 2019.12.10
１．その転移学習は本当に有用なのか？(1/3)まとめ ・転移学習は医療用画像処理タスクのパフォーマンスに大きな影響を与えていない事がわかった ・医療用画像処理タスクでは小さいモデルが大きなモデルに匹敵するパフォーマンスを出せていた ・大きなモデルでは転移学習の有無でパフォーマンスに大きな違いがあったが小さなモデルではなかった ２．Transfusion：医療画像における転移学習の有用性を評価 以下 […]
Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
- 2019.12.09
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事により過学習状態が解消される現象も見受けられる ・ディープニューラルネットワークの二重降下現象の背後にあるメカニズムは重要な未解決の問題 ２．モデルサイズとデー […]
Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)
- 2019.12.08
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNet、およびTransformerなどの最新モデルでも発生し二重降下現象と呼ばれる ・より多くのデータを使ったためにパフォーマンスが劣化してしまう可能性がある事を […]
胸部X線画像を用いた深層学習モデルの開発(2/2)
- 2019.12.07
１．胸部X線画像を用いた深層学習モデルの開発(2/2)まとめ ・モデルは放射線科医が一貫して見逃した病巣をしばしば特定する事があった ・また、逆にモデルが見逃した病巣を放射線科医が発見する事もあった ・ディープラーニングと人間のスキルを組み合わせる戦略は医療分野におけるAIの有望な使われ方候補 ２．ディープラーニングと放射線科医レビューの組み合わせ 以下、ai.googleblog.comより「D […]