インフラ Googleを巨大にした友情(8/9)
１．Googleを巨大にした友情(8/9)まとめ ・2011年からJeffはAndrew Ngと共同でニューラルネットワークの研究に取り組み始めた ・Google Brainは当初はGoogle社内からもその意義をあまり理解されなかった ・...
neural network
インフラ 
入門／解説 3人のAIのパイオニアがチューリング賞を受賞
１．3人のAIのパイオニアがチューリング賞を受賞まとめ ・ノーベルコンピューティング賞ともいわれるチューリング賞をAIのパイオニア３名が共同受賞 ・ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンの３博士は2004年にAIを共同研究 ...
入門／解説 ニューラルネットワークの並列訓練の限界を測定(2/2)
１．ニューラルネットワークの並列訓練の限界を測定(2/2)まとめ ・有効な最大バッチサイズはある程度ワークロードのあらゆる側面に依存 ・しかし大きいバッチサイズの恩恵を受ける事ができる条件はまだ不明 ・最適化アルゴリズムのわずかな変更が訓練...
入門／解説 ニューラルネットワークの並列訓練の限界を測定(1/2)
１．ニューラルネットワークの並列訓練の限界を測定(1/2)まとめ ・バッチサイズとトレーニング時間の減少の関係を追及した論文が発表 ・作業負荷によって異なるがどのような最適化／データ／モデルも３つの段階がある事を確認 ・サイズに比例して時間...
モデル RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(2/2)
１．RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(2/2)まとめ ・RNN-Tモデルは従来モデルに比べて1/5のサイズ圧縮に成功 ・更にTensorFlow Liteのモデル最適化ツールキットで1/4にサイズ...
モデル RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(1/2)
１．RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(1/2)まとめ ・スマホで実行可能ニューラルネットワークベースの音声認識が発表 ・音声をクラウドに送って認識する従来型システムより応答が早い ・コネクショニス...
入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(3/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(3/3)まとめ ・ニューラルネットワークが画像分類時に背景も考慮している事も明確に視覚化 ・また多様な写真の特徴を組み合わせており食用用途も観賞用途も混在...
入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)まとめ ・ニューラルネットワークでは層が進むにつれ概念が洗練されていく ・概念の大枠だけではなく、個別の概念も洗練されていく ・また、新しい概念が...
入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)まとめ ・隠れ層で起きているニューロンの活性化状態を地図にして視覚化しようという試み ・UMAPで高次元ベクトルを二次元に変換しグリッドにまとめて...
学習手法 GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)まとめ ・GPipeを使って5億5,700万のパラメータのAmoebaNet-Bで84.3％のTop-1 Accuracyを達成 ・Top-5 ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...