AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)まとめ ・最近のMLPerfのコンペでは、TPUs v4が5つのベンチマークで新記録を達成し、2位に比べて平均1.42倍の差をつけた ・プラッ...
neural architecture search
AI関連その他 
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)まとめ ・高度に関連したドメイン間ではネットワーク内のパスと構成要素の大部分が重複する ・MPNASから得られたモデルは従来モデルと比較して効率と...
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)まとめ ・視覚タスクではデータ領域が写真や絵画などで異なる場合は別々にモデルを学習させる事が多い ・異なる領域を共同で学習させる試みはマルチドメイ...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)まとめ ・プラットフォームを意識したNASを使いTPUやGPUに最適化したEfficientNet-Xを設計 ・TPUv3およ...
アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)まとめ ・様々なタイプのIBNを含めた探索空間を構築しNASで画像像分類用のモデルを発見 ・発見されたMobileNetEdgeTPUV2はCPU上で...
アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(1/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(1/3)まとめ ・Google TensorはGoogleのAI原則に沿ってMLモデルを実行するために最適化されている ・ニューラルアーキテクチャ探索を使用し...
モデル CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(1/2)
１．CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(1/2)まとめ ・モデルとデータサイズが大きくなるにつれてトレーニング効率が重要な焦点になりつつある ・ニューラルアーキテクチャ探索を活用して画像認識用のモデルを2種...
アプリケーション IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)
１．IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)まとめ ・デバイス上で実行するためバックボーンの幅と深さをパフォーマンスに影響を与えずに削減 ・バックボーン選択後ニューラルアーキテクチャ探索(NAS...
モデル SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(2/2)
１．SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(2/2)まとめ ・ニューラルアーキテクチャ探索の出発点となるモデルにはResNet-50バックボーンを採用 ・発見されたスケール交換モデルは、物体検...
モデル SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(1/2)
１．SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(1/2)まとめ ・畳み込みネットワークは段階的に入力画像のスケールを削減するためマルチスケールなタスクが苦手 ・スケール交換モデルはスケールを削減で...
モデル 動画用ニューラルネットワークを自動で探索する試み(1/3)
１．動画用ニューラルネットワークを自動で探索する試み(1/3)まとめ ・現在動画用のモデルは通常既存の画像用モデルなどを元に手動で拡張設計されている ・動画用モデルは時空間情報を扱うためAutoMLのような自動化アプローチが困難 ・この課題...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(1/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(1/2)まとめ ・Transformerは機械翻訳など連続したデータを扱う領域において優れた成果を上げている手動設計モデル ・コンピュータ画像を扱...