入門／解説 M4:超多言語、大規模ニューラル機械翻訳(2/3)
１．M4:超多言語、大規模ニューラル機械翻訳(2/3)まとめ ・使用可能なすべてのデータを使用してトレーニングすると低リソース言語の翻訳品質が劇的に向上 ・超多言語モデルは一般化に効果的であり多言語全体の特徴表現の類似性を捕捉できている可能...
neural network
入門／解説 入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)まとめ ・敵対的サンプルを使ってトレーニングしたモデルが敵対的でないデータを扱う事が出来る事が判明 ・堅牢なデータセットを使ってトレーニングしたモデルが自明でない特徴を...
モデル Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(2/3)
１．Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(2/3)まとめ ・学習は従来の人工ニューラルネットワークと同様で逆伝播を使用して行われる ・スパイクネットワークはMNISTで97.96％の精度を達成し、こ...
モデル モジュラーディープラーニング用の再帰的スケッチ(2/2)
１．モジュラーディープラーニング用の再帰的スケッチ(2/2)まとめ ・モジュラーディープネットワークは複数の独立したニューラルネットワークから構成される ・モジュラーディープネットワークに対応するスケッチは、再帰的なメカニズムで対処する ・...
基礎理論 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)まとめ ・トレーニングしなくても画像情報からカーレースゲームをプレイするシンプルなWANNは発見済み ・ランダムな重みを使う事で同一モデルでアンサンブル学...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)まとめ ・WANNは新しいアーキテクチャ探索中に個々の重みを学習させる必要がない ・ネットワークのパフォーマンスと複雑さの両方を同時に最適化する事も可能 ...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)まとめ ・特定の生物は本能により生まれながらにして天敵から逃れる行動をとる事が出来る ・ニューラルネットワーク探索により見つかったモデルの一部は画像処理タ...
モデル Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)まとめ ・バイ テンパーは大きな外れ値にも小さな外れ値にもロジスティック損失より良く対応が出来ている ・今...
入門／解説 Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(1/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(1/3)まとめ ・ノイズの多いデータにニューラルネットワークが対応する能力は損失関数に大きく依存する ・分類タスク...
学習手法 Project Euphoniaの非標準音声用のパーソナライズされた音声認識(2/2)
１．Project Euphoniaの非標準音声用にパーソナライズした音声認識(2/2)まとめ ・部調整モデルはASLスピーチに関しては、ベースラインモデルに比べてかなり改善する事が検証された ・2つのレイヤーの微調整だけで全体を微調整した...
学習手法 Project Euphoniaの非標準音声用のパーソナライズされた音声認識(1/2)
１．Project Euphoniaの非標準音声用にパーソナライズした音声認識(1/2)まとめ ・Project Euphoniaは音声認識モデルを改良して様々な非定形音声を適切に転写する事が目標 ・一般的な音声モデルでトレーニングした後に...
モデル EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(2/2)
１．EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(2/2)まとめ ・EfficientNetsが主に使用する「深さ方向に分離可能な構造」はアクセラレータ上では必ずしも有効ではない ・通常のCN...