AI関連その他 GeForceシリーズのGPUの電気代と価格の比較一覧表
１．GeForceシリーズのGPUの電気代と価格の比較一覧表まとめ ・最高のGPUを2枚組み込んだ自作PCを一週間連続稼働すると7700円程度の電気代が見込まれる ・自己所有PCであっても、ランニングコストはそこそこかかるものと認識した方が...
dahara1
AI関連その他 
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)まとめ ・TracInはクラスタリングアルゴリズム内の類似性関数として使用可能 ・TracInは「SGD(またはSGDの亜種)を使用してトレーニングしている事」以外に条件...
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)まとめ ・トレーニングデータの品質はモデルのパフォーマンスに大きな影響を与える可能性がある ・様々な手法が提案されているが追加リソースやトレーニングが必要であり採用が困難...
インフラ 人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)
１．人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)まとめ ・ディープラーニングには大量の計算が必要なのでクラウドか自作ハードウェアを選ぶ事になる ・自作ハードウェアは長期目線ではコストの削減とスピードの向上に繋がる可...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(3/3)まとめ ・アーキテクチャ探索のための最高の最適化戦略は進化的戦略とP3BO戦略であった ・設計上の制約を厳しくするとP3BO最適化戦略がパフォーマンスの高い解決策を...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)まとめ ・本調査ではアーキテクチャ探索を4つの最適化戦略で実施して結果を比較した ・ランダム探索はランダムに、Vizierはベイズ最適化を用いて探索と開拓のバランス...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)まとめ ・最近の機械学習の進歩の要因の1つにTPUなどのカスタムアクセラレータの開発がある ・急速に進化するMLモデルに順応するためにアーキテクチャの革新を続ける必...
学習手法 World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)
１．World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(2/2)まとめ ・エージェントが予測する画像の画素数が増えるとパフォーマンスは一般的に向上 ・報酬予測の精度とエージェントのパフォーマンスの間...
学習手法 World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(1/2)
１．World Models Library：強化学習で将来の画像を予測する事に意味はあるのか？(1/2)まとめ ・原則として強化学習で計画立案に厳密に必要なのは、将来の報酬を予測することだけ ・しかし、最近の多くの強化学習手法で将来の画像...
アプリケーション より少ないデータから表形式データを推論することを学習(2/2)
１．より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査 ・...
アプリケーション より少ないデータから表形式データを推論することを学習(1/2)
１．より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレーニン...
インフラ GCP上で大きなモデルを動かした際のGPUの性能比較
１．GCP上で大きなモデルを動かした際のGPUの性能比較まとめ ・Colabで動かせないモデルをGCP上で実行するとColabの凄みを改めて実感する事になる ・GPUはベンチマークではなく実際のタスクやモデルで動かさないと性能差はわからない...