学習手法 TAG：マルチタスク学習で一緒にトレーニングすべきタスクを知る(2/2)
１．TAG：マルチタスク学習で一緒にトレーニングすべきタスクを知る(2/2)まとめ ・TAGは1つのタスクに関してのみモデルのパラメータを更新してその影響を調べる ・ネットワーク内の各タスクが他のタスクとどのように相互作用するかについての情...
人工知能/機械学習
学習手法 学習手法 TAG：マルチタスク学習で一緒にトレーニングすべきタスクを知る(1/2)
１．TAG：マルチタスク学習で一緒にトレーニングすべきタスクを知る(1/2)まとめ ・多くの機械学習モデルは、通常、一度に1つのタスクを学習する事に重点を置いている ・多数のタスクから同時に学習すると性能が向上する場合がありこれをマルチタス...
プライバシー 実用的な差分プライベートクラスタリング(2/2)
１．実用的な差分プライベートクラスタリング(2/2)まとめ ・プライベート・クラスタリング・アルゴリズムの前処理は通常と異なるので留意が必要 ・今回のアルゴリズムは全てのデータポイントが収まるような半径の入力が必要 ・半径が正確である必要は...
プライバシー 実用的な差分プライベートクラスタリング(1/2)
１．実用的な差分プライベートクラスタリング(1/2)まとめ ・k-meansクラスタリングは機密性の高いデータセットを処理する際は問題がある ・データポイントが他と大幅に離れていると単一のクラスタを構成してしまうため ・差分プライバシー方式...
基礎理論 Underspecification：検証データで測定した精度のみに頼る事の落とし穴(3/3)
１．Underspecification：検証データで測定した精度のみに頼る事の落とし穴(2/3)まとめ ・標準的な検証データセットを使ったテストだけでは医療用モデルの動作を保証できていない ・自然言語処理など他のタスクでも性別に相関する挙...
基礎理論 Underspecification：検証データで測定した精度のみに頼る事の落とし穴(2/3)
１．Underspecification：検証データで測定した精度のみに頼る事の落とし穴(2/3)まとめ ・ImageNetで良好に機能する画像分類モデルは破損画像では不十分な性能しか出せない ・ImageNetで同等パフォーマンスを達成す...
基礎理論 Underspecification：検証データで測定した精度のみに頼る事の落とし穴(1/3)
１．Underspecification：検証データで測定した精度のみに頼る事の落とし穴(1/3)まとめ ・機械学習モデルは現実世界で使用すると予期していなかった動作をする事がある ・検証を行ったモデルであっても製品展開後に一貫性がなくなる...
モデル SimVLM：弱い教師を使ったシンプルな視覚言語モデル(2/2)
１．SimVLM：弱い教師を使ったシンプルな視覚言語モデル(2/2)まとめ ・SimVLMは非常に単純な構成であるにもかかわらず最先端のモデルを凌駕 ・微調整せずともドイツ語で画像の説明文を作成するなどゼロショットが可能 ・SimVLMは教...
モデル SimVLM：弱い教師を使ったシンプルな視覚言語モデル(1/2)
１．SimVLM：弱い教師を使ったシンプルな視覚言語モデル(1/2)まとめ ・視覚言語モデリングは、視覚的な入力に言語を対応させて理解する土台となる ・視覚入力と言語入力の両方から単一の特徴空間を学習する手法で近年大きく進歩した ・SimV...
基礎理論 ディープラーニング比較用のベースラインを利用しやすくする(2/2)
１．ディープラーニング比較用のベースラインを利用しやすくする(2/2)まとめ ・不確実性ベースラインでは、モデル、データセット、評価指標を選択可能 ・各ベースラインのトレーニング/評価パイプラインはPythonファイルに含まれる ・ベースラ...
基礎理論 ディープラーニング比較用のベースラインを利用しやすくする(1/2)
１．ディープラーニング比較用のベースラインを利用しやすくする(1/2)まとめ ・MLモデルのパフォーマンスは「基準となるモデル(ベースライン)」と比較して測定される ・ベースラインモデルを説明している論文からベースラインモデルを完全再現する...
ヘルスケア MICLe:自己教師あり学習で医療用画像の分類精度を向上(3/3)
１．MICLe:自己教師あり学習で医療用画像の分類精度を向上(3/3)まとめ ・自己教師事前トレーニングは分布がシフトするデータセットに堅牢であった ・自己教師事前トレーニングはラベル効率が高く少ないラベルで性能向上可能 ・自己教師事前トレ...