自然環境 機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(1/2)
１．機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(1/2)まとめ ・機械学習実行時の計算コストの上昇と温室効果ガスの総排出量について懸念する声がある ・機械学習関連作業時の二酸化炭素排出量を大幅に削減する4つの主要な実践方...
自然環境 
ヘルスケア 前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)
１．前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)まとめ ・コンテストは非常に迅速にモデルが改善され病理医に近いレベルを10日以内に達成 ・コードを公開して共有する事が参加チーム全体のスコアの急速な改善につながった ・PA...
ヘルスケア 前立腺がんの診断とグリーソン分類に関する国際的なコンペ(1/2)
１．前立腺がんの診断とグリーソン分類に関する国際的なコンペ(1/2)まとめ ・健康分野で開催される機械学習コンテストは困難な臨床問題を解決する機会となる ・コンテストを開催する際は高品質なデータセットを入手し管理する事が必要となる ・関連団...
学習手法 Soft Prompt：プロンプトを人力でなく学習させる新手法(2/2)
１．Soft Prompt：プロンプトを人力でなく学習させる新手法(2/2)まとめ ・プロンプトベース学習は、急速に進化している手法でパラメータ効率が良い事が特徴 ・モデルサイズが大きくなるとプロンプトチューニングは微調整したモデルと同等に...
学習手法 Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)
１．Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)まとめ ・モデルの規模が大きくなるとタスク毎に複数のモデルを微調整して保存することは難しくなる ・GPT-3は１つの巨大モデルでも入力を工夫すれば多様なタスクを実行...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)まとめ ・階層的アーキテクチャは空間的な関係を保持しておりCAMを適用して解釈が可能 ・モデルの収束速度が...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)まとめ ・Nested Hierarchical Transformerは各ノードが持つ情報が重複していな...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
ロボット XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(2/2)
１．XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(2/2)まとめ ・XIRLは実演者と学習者が異なる形状である際の模倣問題に取り組む手法 ・時間的サイクル整合性を用いて実施形態に依存しない報酬関数を学習 ・サンプル効率が高...
ロボット XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(1/2)
１．XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(1/2)まとめ ・人は他人から学ぶがロボットも同じようにする事ができないか考えた ・しかしロボットは人間と物理的に異なる構造を持つため人間の模倣が困難 ・XIRLは動画から...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)まとめ ・プラットフォームを意識したNASを使いTPUやGPUに最適化したEfficientNet-Xを設計 ・TPUv3およ...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)まとめ ・最新のアクセラレータのピーク性能とMLモデル実行時の性能の間にギャップが広がりつつある ・指標(FLOPS)ではなく...