AITracIn：トレーニング事例の影響を推定する簡単な方法(2/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)まとめ ・TracInはクラスタリングアルゴリズム内の類似性関数として使用可能 ・TracInは「SGD(またはSGDの亜種)を使用してトレーニングしている事」以外に...
SGD
AIAITracIn：トレーニング事例の影響を推定する簡単な方法(1/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)まとめ ・トレーニングデータの品質はモデルのパフォーマンスに大きな影響を与える可能性がある ・様々な手法が提案されているが追加リソースやトレーニングが必要であり採用が...
AIAutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)
１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)まとめ ・AutoML-Zeroは探索空間が非常にまばらになり正確に動作するアルゴリズムが少なくなるケースがある ・適切な時間内に解が見つからない可...
AIData Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(1/2)
１．Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(1/2)まとめ ・アクセラレータは並行して処理を増やす事とトレーニングをより速く処理する事で学習速度を向上できる ・並行して処理には限界がある事がわ...
AIDeep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせ...