gpipe

1/2ページ

Google Research:2019年の振り返りと2020年以降に向けて(5/8)

AI

1.Google Research:2019年の振り返りと2020年以降に向けて(5/8)まとめ ・2019年はニューラルネットワークのトレーニングにどのような力学が働くのか特性を理解を目指した ・AutoMLの研究も継続し、既存モデルの改良や特定ハードに特化したモデルなど様々な改良を実施 ・表形式データの取り扱いに特化したAutoML Tablesはデータサイエンティストのコンペで好成績収めた […]

M4:超多言語、大規模ニューラル機械翻訳(3/3)

AI

1.M4:超多言語、大規模ニューラル機械翻訳(3/3)まとめ ・低リソース言語の数を増やすと高リソース言語の翻訳の品質が低下する現象が観察される ・これを敷設ために良い学習アルゴリズムやモデルパラメータ数を増やす試みを行った ・最終的に500億個のパラメーターを正常にトレーニングする事に成功し翻訳品質がさらに向上 2.M4の実用化 以下、ai.googleblog.comより「Exploring […]

EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)

AI

1.EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)まとめ ・EfficientNetのベースネットワークはAutoML MNASフレームワークによって開発された ・EfficientNetモデルは従来のCNNよりも高い精度と効率を達成しつつパラメータのサイズとFLOPSを削減 ・モデル効率を大幅に向上させるため将来のコンピュータビジョンタスクの […]

EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(1/2)

AI

1.EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(1/2)まとめ ・畳み込みニューラルネットワークをスケールアップして精度と効率を向上させる新手法が発表 ・EfficientNetと命名されたこのモデルは従来手法と異なりモデルを一律にスケールアップさせる ・個々の次元をスケールアップさせる従来手法より新手法の方が全体的な性能と効率が向上する 2.Eff […]

GPipe:大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)

AI

1.GPipe:大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)まとめ ・GPipeを使って5億5,700万のパラメータのAmoebaNet-Bで84.3%のTop-1 Accuracyを達成 ・Top-5 Accuracyでは97%、どちらも追加データなしに達成 ・CIFAR-10の最高精度99%、そしてCIFAR-100の精度も91.3%を達成 2.GPipeに […]