モデル 幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベース...
学習手法
モデル 
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない ・LEAFは話者識別、音響シーン認識、楽器の識別...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)まとめ ・音声分類用のモデルは生音声ではなく前処理されたデータを扱う事が多い ・メルフィルターバンクは人間の聴覚反応を再現するように設計されたフィ...
学習手法 ニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネットワ...
学習手法 ニューラルネットワークを疎にして推論を高速化(1/2)
１．ニューラルネットワークを疎にして推論を高速化(1/2)まとめ ・モデル最適化には大部分の重みが0に設定されているスパースニューラルネットワークが有効 ・しかし良く使われる畳み込みスパース化するツールとサポートするツールがなかった ・XN...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)まとめ ・強化学習のシミュレーション環境を多様化して現実への転移を容易にする手法が求めらている ・トレーニング環境を自動的に作成する教師なし環境デザイン(UED)は１...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)まとめ ・強化学習でシミュレートされたトレーニング環境を利用するケースが近年増加している ・シミュレート環境の弱点は作成される環境が多様性を欠く事であり環境の自動構築...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)まとめ ・アーキテクチャ探索のための最高の最適化戦略は進化的戦略とP3BO戦略であった ・設計上の制約を厳しくするとP3BO最適化戦略がパフォーマンスの高い解決策を...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)まとめ ・本調査ではアーキテクチャ探索を4つの最適化戦略で実施して結果を比較した ・ランダム探索はランダムに、Vizierはベイズ最適化を用いて探索と開拓のバランス...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)まとめ ・最近の機械学習の進歩の要因の1つにTPUなどのカスタムアクセラレータの開発がある ・急速に進化するMLモデルに順応するためにアーキテクチャの革新を続ける必...
学習手法 World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)
１．World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)まとめ ・エージェントが予測する画像の画素数が増えるとパフォーマンスは一般的に向上 ・報酬予測の精度とエージェントのパフォーマンスの間...