学習手法 30億のパラメータを持つ巨大モデルを学習させた際の知見
１．30億のパラメータを持つ巨大モデルを学習させた際の知見まとめ ・非常に巨大なモデルを学習させる際は混合精度と全精度で違いが出る可能性がある ・通常の学習では問題は発生しないが学習の収束が見込めるトレーニングの後半に出る ・DALL·E ...
training
学習手法 
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)まとめ ・システムは予測、計画、および制御の3つのモジュールから構成されている ・各エージェントは自分自身の動き用と他のエージェント用の予測モデルを学習 ・予...
AI関連その他 独自データを使って物体検出モデルの精度を上げる方法(2020年版)
１．独自データを使って物体検出モデルの精度を上げる方法(2020年版)まとめ ・2020年に物体検出モデルを再トレーニングしようとした時に取りうる選択肢の概要紹介 ・物体検出用データのラベル付け、データ拡張、モデリングなどを具体的に紹介 ・...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
公平性 MinDiff：機械学習モデルの不公平な偏見を軽減(1/2)
１．MinDiff：機械学習モデルの不公平な偏見を軽減(1/2)まとめ ・分類器は重要な役割を果たすが不当な偏見を最小限に抑えるように構築されている事が大切 ・MinDiffはMLモデルをトレーニングする際の不公平な偏見を効率的に軽減するツ...
AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)まとめ ・アルゴリズムの改良でImageNet分類タスクに必要な計算量が16か月ごとに2分の1に減少 ・7年前のAlexNetと同等のパフォーマンスを実現するために必要な計算能...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)まとめ ・RigLのパフォーマンスはトレーニング時間を伸ばすと基本時間の百倍までは常に改善された ・ResNet-50では最先端のtop 1精度、MobileNet-v1で...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(1/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(1/3)まとめ ・最新のディープニューラルネットワークアーキテクチャは冗長性が高い場合が多い ・重要度の低い接続を刈り取る事で疎なニューラルネットワークに改良すると性能が上がる ・...
ライフプラン SPARTAN VIRTUAL RACEに参加
１．SPARTAN VIRTUAL RACEに参加まとめ ・ステイホームをしていると食事が変わってなくても体重が確実に増えてベルトがきつくなる ・このままではコレステロールで血管が詰まる恐れがあるので運動量を増やしたいと考えていた ・丁度、...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)まとめ ・WANNは新しいアーキテクチャ探索中に個々の重みを学習させる必要がない ・ネットワークのパフォーマンスと複雑さの両方を同時に最適化する事も可能 ...
モデル Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)まとめ ・バイ テンパーは大きな外れ値にも小さな外れ値にもロジスティック損失より良く対応が出来ている ・今...
入門／解説 Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(2/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(2/3)まとめ ・バイテンパーは2つのパラメーターを使いロジスティック損失が持つ問題をうまく処理可能 ・パラメータ...