AIGPT-3を使った次世代アプリの紹介
１．GPT-3を使った次世代アプリの紹介まとめ ・GPT-3の発表から9か月だが既に300を超えるアプリケーションがAPI経由で使用している ・顧客からの意見の要約、仮想存在との対話、超高速セマンティック検索などで実用化 ・プラットフ...
BERT
AI
AIニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネ...
AIディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネット...
AIディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面...
AIより少ないデータから表形式データを推論することを学習(2/2)
１．より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査...