基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
neurips
基礎理論 基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)まとめ ・強化学習でシミュレートされたトレーニング環境を利用するケースが近年増加している ・シミュレート環境の弱点は作成される環境が多様性を欠く事であり環境の自動構築...
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)まとめ ・TracInはクラスタリングアルゴリズム内の類似性関数として使用可能 ・TracInは「SGD(またはSGDの亜種)を使用してトレーニングしている事」以外に条件...
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)まとめ ・トレーニングデータの品質はモデルのパフォーマンスに大きな影響を与える可能性がある ・様々な手法が提案されているが追加リソースやトレーニングが必要であり採用が困難...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(5/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(5/5)まとめ ・TensorFlowは5周年で累計ダウンロード数は1億6000万を超え、JAXへの投資も倍増 ・データセットの公開、各種助成金などにより研究...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(4/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(4/5)まとめ ・アルゴリズム基礎は主に本業の広告オークション関係で注目すべき結果が多かった ・機械知覚は音声と映像を組み合わせて学習する等のマルチモーダルな...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(2/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(2/5)まとめ ・機械学習の応用は脳の構造解析から有望な分子化合物の探索、チップセットの設計など多岐に ・責任あるAIは解釈可能性の向上やバイアスの削減、安全...
学習手法 GO：グラフ最適化用強化学習(1/3)
１．GO：グラフ最適化用強化学習(1/3)まとめ ・大規模モデルは多様なアクセラレータが混在する環境でトレーニングされるようになってきた ・MLコンパイラは多くの複雑な最適化問題を解決する必要があるが手動設計には限界がある ・この制限を克服...
学会 NeurIPS 2020におけるGoogleの存在感
１．NeurIPS 2020におけるGoogleの存在感まとめ ・12/6 - 12/12に今年最大の機械学習会議であるNeurIPS 2020が仮想空間で開催 ・Googleは180を超える論文で強力な存在感を示し講演やワークショップも開...
入門／解説 効率的な質問回答システムにおける課題とワークショップの開催
１．効率的な質問回答システムにおける課題とワークショップの開催まとめ ・従来の質問回答システムは「知識」をドキュメント、またはナレッジグラフから取得して回答していた ・しかし直近の大規模システムはナレッジグラフや文章を参照せず直接回答をする...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)まとめ ・視覚タスクにおけるラベル付きデータの欠如を軽減する一般的なアプローチは事前学習 ・事前学習は実際にかなりうまく機能するが非常に大規模データ...