学習手法 ニューラルネットワークを疎にして推論を高速化(1/2)
１．ニューラルネットワークを疎にして推論を高速化(1/2)まとめ ・モデル最適化には大部分の重みが0に設定されているスパースニューラルネットワークが有効 ・しかし良く使われる畳み込みスパース化するツールとサポートするツールがなかった ・XN...
efficientnet
学習手法 
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進 ・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大 ・Au...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(3/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(3/3)まとめ ・CLIPは一般的な物体認識には優れているが抽象的または体系的なタスクには苦戦 ・CLIPは、言葉遣いや言い回しに過敏で機能させるために試行錯誤も必要 ・分類対...
アプリケーション 時系列予測にAutoMLを使用する(1/2)
１．時系列予測にAutoMLを使用する(1/2)まとめ ・時系列予測は重要だがモデルの作成に専門知識が必要で現実世界では利用に制限がある ・AutoMLはMLモデルの作成プロセスを自動化することでMLをより広く利用可能にする ・現実世界のコ...
AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)まとめ ・少量のコンピューティングで達成された顕著な進歩の測定に力を注ぐことが重要 ・今後も効率的な最新技術を引き続き追跡し、視覚と翻訳タスク以外も追加して行く予定 ・未掲載の...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
入門／解説 AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)
１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)まとめ ・従来のAutoMLは人間が設計した部品を組み合わせて新たな解決策を構築することに焦点を当てた ・部品そのものを探索する事は大きな利点があるが計...
モデル EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(2/2)
１．EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(2/2)まとめ ・EfficientDetは物体検出器の解像度/深さ/幅を一緒に拡大する、新しい複合スケーリング手法を採用 ・三つの最適化の結果、従来の最先端モデ...
モデル EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(1/2)
１．EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(1/2)まとめ ・物体検出アプリケーションは様々な場所で必要とされるため計算能力の限界など様々な制約を受ける ・様々な制約にも適応できる正確で効率的な物体検出アプ...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(5/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(5/8)まとめ ・2019年はニューラルネットワークのトレーニングにどのような力学が働くのか特性を理解を目指した ・AutoMLの研究も継続し、既存モデルの改...
学習手法 MobileNetV3:次世代のオンデバイス視覚モデル(3/3)
１．MobileNetV3:次世代のオンデバイス視覚モデル(3/3)まとめ ・精度とEdge TPU上で実行された際の速度を両立させるAutoMLをした結果MobileNetEdgeTPUモデル誕生 ・既存のモバイルモデルよりも同一精度でよ...
モデル EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(2/2)
１．EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(2/2)まとめ ・EfficientNetsが主に使用する「深さ方向に分離可能な構造」はアクセラレータ上では必ずしも有効ではない ・通常のCN...