モデル 2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggleのコ...
BERT
モデル 
アプリケーション GPT-3を使った次世代アプリの紹介
１．GPT-3を使った次世代アプリの紹介まとめ ・GPT-3の発表から9か月だが既に300を超えるアプリケーションがAPI経由で使用している ・顧客からの意見の要約、仮想存在との対話、超高速セマンティック検索などで実用化 ・プラットフォーム...
学習手法 ニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネットワ...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
アプリケーション より少ないデータから表形式データを推論することを学習(2/2)
１．より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査 ・...
アプリケーション より少ないデータから表形式データを推論することを学習(1/2)
１．より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレーニン...
基礎理論 RxR：多言語の案内指示に対応する能力を測るベンチマーク(2/2)
１．RxR：多言語の案内指示に対応する能力を測るベンチマーク(2/2)まとめ ・RxRには約1,000万語が含まれており既存のデータセットの約10倍の規模 ・RxRを使い現在の最良のモデルであっても人間の半分程度のスコアである事が判明 ・R...
データセット ToTTo：表から文を抽出する能力を測るためのデータセット(2/2)
１．ToTTo：表から文を抽出する能力を測るためのデータセット(2/2)まとめ ・最もパフォーマンスの高いモデルであっても約20%の確率で情報を幻覚化するように見える ・最先端のモデルでも幻覚、数値的推論、および稀なトピックに苦労している事...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(5/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(5/5)まとめ ・TensorFlowは5周年で累計ダウンロード数は1億6000万を超え、JAXへの投資も倍増 ・データセットの公開、各種助成金などにより研究...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(4/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(4/5)まとめ ・アルゴリズム基礎は主に本業の広告オークション関係で注目すべき結果が多かった ・機械知覚は音声と映像を組み合わせて学習する等のマルチモーダルな...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進 ・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大 ・Au...