モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)まとめ・本調査ではアーキテクチャ探索を4つの最適化戦略で実施して結果を比較した・ランダム探索はランダムに、Vizierはベイズ最適化を用いて探索と開拓のバランスを取...
モデル モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)まとめ・最近の機械学習の進歩の要因の1つにTPUなどのカスタムアクセラレータの開発がある・急速に進化するMLモデルに順応するためにアーキテクチャの革新を続ける必要が...
学習手法 World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)
１．World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)まとめ・エージェントが予測する画像の画素数が増えるとパフォーマンスは一般的に向上・報酬予測の精度とエージェントのパフォーマンスの間の相...
学習手法 World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(1/2)
１．World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(1/2)まとめ・原則として強化学習で計画立案に厳密に必要なのは、将来の報酬を予測することだけ・しかし、最近の多くの強化学習手法で将来の画像を予...
アプリケーション より少ないデータから表形式データを推論することを学習(2/2)
１．より少ないデータから表形式データを推論することを学習(2/2)まとめ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査・トーク...
アプリケーション より少ないデータから表形式データを推論することを学習(1/2)
１．より少ないデータから表形式データを推論することを学習(1/2)まとめ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレーニングタ...
インフラ GCP上で大きなモデルを動かした際のGPUの性能比較
１．GCP上で大きなモデルを動かした際のGPUの性能比較まとめ・Colabで動かせないモデルをGCP上で実行するとColabの凄みを改めて実感する事になる・GPUはベンチマークではなく実際のタスクやモデルで動かさないと性能差はわからない・モ...
入門／解説 50億のパラメータを持つ人工知能はどこかぁ～に君ぃ～を隠しているからぁ～♪の続きを歌えるのか？
１．50億のパラメータを持つ人工知能はどこかぁ～に君ぃ～を隠しているからぁ～♪の続きを歌えるのか？まとめ・10億版に比べて50億版の表現力は明らかにあがっており違和感が減っている・特に英語の歌では人工知能によって補完された歌である事に気付け...
アプリケーション IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)
１．IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)まとめ・デバイス上で実行するためバックボーンの幅と深さをパフォーマンスに影響を与えずに削減・バックボーン選択後ニューラルアーキテクチャ探索(NAS)を...
アプリケーション IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(1/2)
１．IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(1/2)まとめ・Android用アプリのVoice Accessを使用するとユーザーは口頭で指示してアプリ操作可能・アイコン情報を提供していないアプリもあるの...
アプリケーション Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(2/2)
１．Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(2/2)まとめ・グラフを改良する事でダイクストラで充電時間を考慮した経路を求める事が可能になった・しかし充電ステーションの密度が非常に高い場所ではグラフが巨大になり効...
アプリケーション Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(1/2)
１．Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(1/2)まとめ・ガソリン駆動車の経路案内時には給油場所は問題にならないが電気自動車は考慮が必要・充電時間は総移動時間のかなりの部分を占める可能性があり充電率によっても...