アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(3/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(3/3)まとめ ・前世代の最先端モデルであるMobileDet-EdgeTPUをエネルギー効率で30%上回る ・顔検出性能の向上に加えホワイトバランスと露出の...
optimization
アプリケーション 
その他の分野 ブレークイーブン・フュージョン実現への新たな一歩(2/2)
１．ブレークイーブン・フュージョン実現への新たな一歩(2/2)まとめ ・装置最適化に加えて装置が生成するプラズマの挙動を深く理解することを目指した ・現システムに供給できる電力限界までプラズマを安定させる事に成功してた ・10年後までにブレ...
その他の分野 ブレークイーブン・フュージョン実現への新たな一歩(1/2)
１．ブレークイーブン・フュージョン実現への新たな一歩(1/2)まとめ ・核融合反応維持に必要なエネルギーよりも多くを取り出す事をブレイクイーブンと言う ・ブレイクイーブン(損益分岐点)を超えるシステムは炭素排出量ゼロの電力を供給可能 ・機械...
学習手法 深層強化学習研究の計算コストの削減(2/2)
１．深層強化学習研究の計算コストの削減(2/2)まとめ ・従来の制御環境ではRainbowの論文と異なり分散RLは単体では性能向上に貢献しなかった ・Rainbowに採用された各アルゴリズムの貢献度は適用環境ごとに異なる可能性がある ・計算...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な効果...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)まとめ ・アーキテクチャ探索のための最高の最適化戦略は進化的戦略とP3BO戦略であった ・設計上の制約を厳しくするとP3BO最適化戦略がパフォーマンスの高い解決策を...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)まとめ ・本調査ではアーキテクチャ探索を4つの最適化戦略で実施して結果を比較した ・ランダム探索はランダムに、Vizierはベイズ最適化を用いて探索と開拓のバランス...
学習手法 GO：グラフ最適化用強化学習(3/3)
１．GO：グラフ最適化用強化学習(3/3)まとめ ・GOはオフライントレーニングとわずかな微調整で初見のグラフにも一般化可能 ・全タスクを一度に最適化するマルチタスクGOはシングルタスクGOより7.8％速度が向上 ・フレームワークの最適化問...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(2/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(2/3)まとめ ・RigLはランダムマスクから開始し大きな勾配を持つ接続をアクティブする ・大きな勾配を持つ接続は損失を最も迅速に減少させることが期待出来るため ・RigLは他の手...
その他の調査 PCR検査の効率を劇的に向上できるベイジアングループテスト(2/2)
１．PCR検査の効率を劇的に向上できるベイジアングループテスト(2/2)まとめ ・集団をスクリーニングして感染者を特定することはCOVID-19の流行で世界が直面している問題 ・ベイジアン最適実験計画法は確率論的な考え方を採用し個人の感染確...
公平性 TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(2/3)
１．TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(2/3)まとめ ・「正しい」制約とは、何を持って公平とするか、または問題とユーザーの要件によって異なる ・矛盾する制約を課す事も可能なので適切な解決策がない制約を指定しない...