基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった・パラメ...
ベンチマーク
基礎理論 入門／解説 機械学習モデルの分類外データの検出を改良(3/3)
１．機械学習モデルの分類外データの検出を改良(3/3)まとめ・尤度比は背景部分の影響を取り除き、意味を持つ部分に焦点を当てているためOODを適切に検出可能・尤度は背景部分の画素が非常に特徴的なパターンで並んでいる事を学習してしまいOOD検出...
学習手法 機械学習モデルの分類外データの検出を改良(1/3)
１．機械学習モデルの分類外データの検出を改良(1/3)まとめ・機械学習は学習時に想定されてなかった分類外データを入力に与えられると確信を持って間違う時がある・これを避けるため「そのデータが分類外(out of distribution)デー...
入門／解説 Google AI Residency Programの第三期のハイライト
１．Google AI Residency Programの第三期のハイライトまとめ・Google AI Residency Programの第三期生の成果の発表、論文以外にも幅広い活動を行った・第五期の募集として2020 Google A...
入門／解説 VTAB:視覚タスク用のベンチマーク(2/2)
１．VTAB:視覚タスク用のベンチマーク(2/2)まとめ・VTABによる評価では最高パフォーマンスを示した特徴表現学習アルゴリズムはS4L・S4L(Self-Supervised Semi-Supervised Learning)は特に「構...
入門／解説 VTAB:視覚タスク用のベンチマーク(1/2)
１．VTAB:視覚タスク用のベンチマーク(1/2)まとめ・視覚タスク用に事前トレーニングしたモデルは有用だが数が多く評価方法も異なっている・数が多すぎる故にどのモデルが最適な特徴表現を提供してくれるのかを知ることは困難・VTABは多様で現実...
データセット SGD:スキーマガイド付き対話学習用データセット(2/2)
１．SGD:スキーマガイド付き対話学習用データセット(2/2)まとめ・SGDデータセットは関数とそのパラメータをリスト化するマスタースキーマアプローチを採用していない・代わりにスキーマガイドアプローチを採用しスキーマの特徴表現を学習させ対話...
モデル Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成
１．Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成まとめ・Cloud TPU v3 Podsが機械学習モデルの学習時間を測るベンチマークであるMLPerfで最速記録を達成・オンプレミスが主体のNVIDI...
入門／解説 プログラム可能な超伝導プロセッサを使用した量子超越性の達成(3/3)
１．プログラム可能な超伝導プロセッサを使用した量子超越性の達成(3/3)まとめ・未知の新しい現象によって量子コンピュータの相対通りに動作しなくなるリスクも検証した・Sycamore量子コンピューターは完全にプログラム可能であるためアプリケー...
入門／解説 プログラム可能な超伝導プロセッサを使用した量子超越性の達成(1/3)
１．プログラム可能な超伝導プロセッサを使用した量子超越性の達成(1/3)まとめ・Googleが新たに開発した54量子ビットプロセッサで量子超越性を達成したとの発表があった・現世界最速のスパコンで10,000年かかると試算される計算を200秒...
入門／解説 フレシェ距離を使用したオーディオとビジュアルの品質測定(3/3)
１．フレシェ距離を使用したオーディオとビジュアルの品質測定(3/3)まとめ・FADとFVDによる評価が人間による評価を厳密に相関する事は実際のデータを使った検証された・同じ音声を異なった２つの手段で歪ませて、どちらがよりすぐ実音声に近いかを...
入門／解説 フレシェ距離を使用したオーディオとビジュアルの品質測定(2/3)
１．フレシェ距離を使用したオーディオとビジュアルの品質測定(2/3)まとめ・GANの品質を測定する手法としてFID、フレシェ インセプション 距離がある・FIDの原則に基づいてフレシェビデオ距離(FVD)とフレシェオーディオ距離(FAD)が...