ロボット ロボット工学におけるA/Bテストの重要性の検証(1/2)
１．ロボット工学におけるA/Bテストの重要性の検証(1/2)まとめ ・自然科学、社会科学、医学などは変化する現実世界の中で結果を評価および比較している ・機械学習研究の大部分は固定した世界で仮定に依存する手法を使用して比較をしている ・制御...
performance
ロボット 
インフラ GCP上で大きなモデルを動かした際のGPUの性能比較
１．GCP上で大きなモデルを動かした際のGPUの性能比較まとめ ・Colabで動かせないモデルをGCP上で実行するとColabの凄みを改めて実感する事になる ・GPUはベンチマークではなく実際のタスクやモデルで動かさないと性能差はわからない...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)まとめ ・RigLのパフォーマンスはトレーニング時間を伸ばすと基本時間の百倍までは常に改善された ・ResNet-50では最先端のtop 1精度、MobileNet-v1で...
入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(3/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(3/3)まとめ ・Meta-Datasetを使った研究によりサポートデータの数とアルゴリズムの重要性が判明 ・様々なモデルは、微調整時に提供されるサポートデ...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能 ・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当...
入門／解説 Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)まとめ ・WANNは新しいアーキテクチャ探索中に個々の重みを学習させる必要がない ・ネットワークのパフォーマンスと複雑さの両方を同時に最適化する事も可能 ...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(2/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(2/2)まとめ ・Evolved Transformerがオリジナルと比較してパフォーマンスが最も向上するのは小さいパラメータサイズ ・Evolv...
その他の調査 2019年4月時点のGANに関する未解決な問題(5/7)
１．2019年4月時点のGANに関する未解決な問題(5/7)まとめ ・GANの評価方法については様々なものが提案されているが決定的なものはない ・評価手法が定まっていない理由の一つはどのような時にGANを使うべきかが曖昧なため ・GANは、...
入門／解説 スタンフォード式最高の睡眠読書感想
１．スタンフォード式最高の睡眠読書感想まとめ ・睡眠が足りない状態は「睡眠不足」ではなく「睡眠負債」と表現する事が適切 ・睡眠も量より質が大事。睡眠時間をダラダラ伸ばしても意味がない ・睡眠の質を高めるには最初の90分の質を高める準備をする...