基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ...
reproducibility
基礎理論 基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す...
入門／解説 ROBEL:3Dプリンタで作成可能な強化学習用ロボット(2/3)
１．ROBEL:3Dプリンタで作成可能な強化学習用ロボット(2/3)まとめ ・ROBELにはD'Clawを用いた操作タスクとD'Kittyを用いた歩行タスクが用意されている ・２つの機関でドキュメントと指示書のみを用いてROBELの構築と再...