インフラ Kubernetesのノード数を7500に拡張(1/2)
１．Kubernetesのノード数を7500に拡張(1/2)まとめ ・GPT-3やCLIPやDALL·Eなどで有名なOpen AIの背後にあるインフラシステムの紹介 ・Kubernetesを7500ノードに規模拡大し大規模モデルから小規模研...
dahara1
インフラ 
アプリケーション Google Nest Hubで睡眠の質を確認(2/2)
１．Google Nest Hubで睡眠の質を確認(2/2)まとめ ・睡眠を理解して改善するには睡眠が妨げられる理由も理解する必要がある ・そのため動き以外にも温度や光、音など感知するセンサーをNest Hubは搭載している ・これにより咳...
入門／解説 最新の人工知能はスタジオジブリの映画を知っているのか？
１．最新の人工知能はスタジオジブリの映画を知っているのか？まとめ ・最新の人工知能はジブリの映画を記憶しているのではないかと言う疑惑があった ・「ジブリ映画の画像」と「英語版タイトル一覧」を与えてゼロショット分類して貰った ・海外で有名な作...
アプリケーション Google Nest Hubで睡眠の質を確認(1/2)
１．Google Nest Hubで睡眠の質を確認(1/2)まとめ ・非接触型レーダーを使って睡眠状態を追跡できるGoogle Nest Hubの第二世代が発表 ・指定範囲にいる人が眠っているか起きているかを自動判断するアルゴリズムを搭載 ...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない ・LEAFは話者識別、音響シーン認識、楽器の識別...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)まとめ ・音声分類用のモデルは生音声ではなく前処理されたデータを扱う事が多い ・メルフィルターバンクは人間の聴覚反応を再現するように設計されたフィ...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な効果...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)まとめ ・通常、モデルは有限のサンプルを使ってトレーニングをされるのでデータは再利用される ・データが無限に存在す...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
学習手法 ニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネットワ...
学習手法 ニューラルネットワークを疎にして推論を高速化(1/2)
１．ニューラルネットワークを疎にして推論を高速化(1/2)まとめ ・モデル最適化には大部分の重みが0に設定されているスパースニューラルネットワークが有効 ・しかし良く使われる畳み込みスパース化するツールとサポートするツールがなかった ・XN...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...