基礎理論 分類精度が高すぎるモデルは知覚的類似度を予測する用途に不向き(1/2)
１．分類精度が高すぎるモデルは知覚的類似度を予測する用途に不向き(1/2)まとめ ・画素の違いから画像の類似性を推定する方法は人の知覚とあまり一致しない ・画像分類器内の中間特徴表現を使うと知覚的類似性に近い分類が出来る ・どのような画像分...
image classification
基礎理論 
モデル LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(1/2)
１．LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(1/2)まとめ ・画像分類などでは事前学習後にタスク毎に微調整に固有データが必要になるので手間がかかる ・代替手法には画像とテキストを使う対照学習があるが微調整手法に...
学習手法 PRIME：過去のシミュレーションログ使ってアクセラレータを新規に設計(2/3)
１．PRIME：のシミュレーションログ使ってアクセラレータを新規に設計(2/3)まとめ ・PRIMEを未知のアプリケーションに汎化させるためにレイヤー数など高レベル特徴を与えている ・PRIMEはEdgeTPUに比べて2.69倍(t-RNN...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
データセット データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)まとめ ・蒸留したデータセットは、画像分類データセットにおいて最先端の性能を達成 ・分散システムを利用してデータセットは数百のGPUを利用して作成した ・蒸留したデータ...
アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)まとめ ・様々なタイプのIBNを含めた探索空間を構築しNASで画像像分類用のモデルを発見 ・発見されたMobileNetEdgeTPUV2はCPU上で...
データセット 画像や動画関係の機械学習に使用できる大規模データセット一覧(1/2)
１．画像や動画関係の機械学習に使用できる大規模データセット一覧(1/2)まとめ ・画像関連のニューラルネットワークをトレーニングするには大規模画像データセットが必要 ・ImageNetは最もよく知られている画像データセットで画像研究のゴール...
学習手法 SupCon：対照学習を教師有り学習に拡張(1/2)
１．SupCon：対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習のラベル...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現 ・微調整を行うとALIGNはBiTやViTなどのほ...
モデル 2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggleのコ...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(1/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(1/3)まとめ ・自然言語を教師に視覚的概念を効率的に学習するネットワークCLIPの紹介 ・CLIPはGPT-2やGPT-3の「ゼロショット」機能を視覚タスクで実現 ・個々のタ...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...