学習手法 Project Euphoniaの非標準音声用のパーソナライズされた音声認識(1/2)
１．Project Euphoniaの非標準音声用にパーソナライズした音声認識(1/2)まとめ ・Project Euphoniaは音声認識モデルを改良して様々な非定形音声を適切に転写する事が目標 ・一般的な音声モデルでトレーニングした後に...
学習手法
学習手法 学習手法 AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(2/2)
１．AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(2/2)まとめ ・AdvGenの出力する敵対的サンプルを利用して堅牢性の損失が計算され、モデルにフィードバックされる ・AdvGenを用いた学習によりニューラル機械...
学習手法 集積カプセルオートエンコーダー(6/6)
１．集積カプセルオートエンコーダー(6/6)まとめ ・SCAE、集積カプセルオートエンコーダーはPCAEとそれに続くOCAEで構成されています ・PCAEエンコーダ、OCAEエンコーダ、OCAEデコーダ、PCAEデコーダの機能から構成される...
学習手法 集積カプセルオートエンコーダー(1/6)
１．集積カプセルオートエンコーダー(1/6)まとめ ・脳が備えている自己教師と帰納的バイアスのお蔭で人間が効率的な学習が可能になっている可能性がある ・この直感によって教師なしバージョンのカプセルネットワークが新たに開発された ・カプセルネ...
学習手法 データサイエンス学習時にやりがちな3つの大きな間違い(3/3)
１．データサイエンス学習時にやりがちな3つの大きな間違い(3/3)まとめ ・データサイエンスは共同作業の側面もあるため共に学ぶ仲間を見つけよう ・フォーラム、チャット、ディスカッション掲示板など沢山の人と学べば学習は簡単になる ・チートシー...
学習手法 データサイエンス学習時にやりがちな3つの大きな間違い(2/3)
１．データサイエンス学習時にやりがちな3つの大きな間違い(2/3)まとめ ・データサイエンスの習得には座って授業を聞くだけでなく実践する事が大切つ ・モデリングは非常に大切でその意義や目的を理解して作る必要がある ・Youtubeの動画やS...
学習手法 グラフデータを機械学習で扱いやすくするための革新(3/3)
１．グラフデータを機械学習で扱いやすくするための革新(3/3)まとめ ・グラフのembedding手法は有用であるが手動で設定しなければならない多数のハイパーパラメータを持つ ・第二の論文で紹介している「Watch Your Step」はハ...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(2/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(2/2)まとめ ・Evolved Transformerがオリジナルと比較してパフォーマンスが最も向上するのは小さいパラメータサイズ ・Evolv...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(1/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(1/2)まとめ ・Transformerは機械翻訳など連続したデータを扱う領域において優れた成果を上げている手動設計モデル ・コンピュータ画像を扱...
学習手法 Google Research Football：新しい強化学習環境(1/2)
１．Google Research Football：新しい強化学習環境(1/2)まとめ ・Google Research Footballは強化学習エージェントにサッカーをプレイさせる事ができる強化学習環境 ・短期視点、長期視点、ボールの...
学習手法 Snorkel MeTaLを用いた大規模マルチタスク学習(4/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(4/4)まとめ ・小文字化BERTと非小文字化BERTの結果をアンサンブルする事により更に高いスコアを更新 ・Snorkelは、トレーニングデータを迅速に作成、モデル化、および管...
学習手法 Snorkel MeTaLを用いた大規模マルチタスク学習(3/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(3/4)まとめ ・自然言語推論(NLI)に関連するデータを用いてマルチタスク学習を実施 ・特殊な句読点を使用している文など特殊な事例に関して固有のタスクヘッドを追加して対応 ・「...