入門／解説 Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(1/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(1/3)まとめ ・ノイズの多いデータにニューラルネットワークが対応する能力は損失関数に大きく依存する ・分類タスク...
training
入門／解説 入門／解説 ニューラルネットワークの並列訓練の限界を測定(2/2)
１．ニューラルネットワークの並列訓練の限界を測定(2/2)まとめ ・有効な最大バッチサイズはある程度ワークロードのあらゆる側面に依存 ・しかし大きいバッチサイズの恩恵を受ける事ができる条件はまだ不明 ・最適化アルゴリズムのわずかな変更が訓練...
入門／解説 ニューラルネットワークの並列訓練の限界を測定(1/2)
１．ニューラルネットワークの並列訓練の限界を測定(1/2)まとめ ・バッチサイズとトレーニング時間の減少の関係を追及した論文が発表 ・作業負荷によって異なるがどのような最適化／データ／モデルも３つの段階がある事を確認 ・サイズに比例して時間...
学習手法 GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)まとめ ・GPipeを使って5億5,700万のパラメータのAmoebaNet-Bで84.3％のTop-1 Accuracyを達成 ・Top-5 ...
その他の調査 自動化により消滅の危機にさらされている雇用の実態(2/2)
１．自動化により消滅の危機にさらされている雇用の実態(2/2)まとめ ・自動化は人間の働く時間を減らすが、それは収入の低下を意味する事でもある ・自動化のリスクが10%高まると、時間あたりの賃金は4.3%低下する ・社会人にとってもスキル再...
その他の調査 自動化により消滅の危機にさらされている雇用の実態(1/2)
１．自動化により消滅の危機にさらされている雇用の実態(1/2)まとめ ・OECD加盟諸国の雇用の半分近くがAI等のオートメーションによる影響を受ける可能性がある ・高スキルを必要とする職業より低スキルを必要とする職業の方が影響を受ける可能性...