プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(2/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・差分プライバシーのプライバシーと実用性の両立は様々な工夫が必要となる ・フルバッチトレーニングと公開データを使った転移学習を組み合わせた ・DP-SGDはJAXで高...
学習手法
プライバシー プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(1/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・大量データを集約して学習データにしていてもモデルは個人に関する特徴を取り込み可能 ・個人に関する特徴が符号化されないようにするため連合学習の重要性が高まっている ・...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)まとめ ・元データが必ずしもルールに従うとは限らないのでルールの効果は元データに依存 ・DeepCTRLは再トレーニングせずにデータに合わせてルールの強さを変...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(2/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(2/3)まとめ ・ルールベースの目標を用いた学習ではパラメータに対して目標が微分可能な事が必要 ・入力特徴量に小さなランダムノイズを加える事で非微分的制約に対応可能な...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)まとめ ・ニューラルネットワークはデータから物理法則等を学習できるが誤差が大きい ・エネルギー保存の法則など、ルールを直接学習できると効率が向上するはず ・D...
アプリケーション HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(2/2)
１．HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(2/2)まとめ ・医療用MLモデルは誤診を避けるため特定の症例を知らないという事実を識別できる事が重要 ・そのため分類できないOODデータを検出することは、安全性を向上...
アプリケーション HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(1/2)
１．HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(1/2)まとめ ・医療用画像分類人工知能の進歩は目覚ましいが珍しい症例を正確に分類するのは難しい ・「以前に見たことがない知らない状態」を検出することは分類外データ検出...
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)まとめ ・分離モデルには過剰分離や文脈の喪失などの潜在的な問題が存在している事はわかっている ・分離されたチャンネルとオリジナルの音声を使って分類する事で最良の結果を得...
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)まとめ ・機械学習を使って鳥の唄声で種を分類する事は鳴き声の重複や自然音の混入により困難 ・音声データから自動的に対象音を分離する教師なし学習であるMixIT手法を新規...
学習手法 StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)
１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)まとめ ・StylExは分類器を説明するものであり、現実世界の分類を説明するものではない ・現実世界におけるクラスラベル間の物理的な違いを特徴付けるとは限らない ・分...
学習手法 StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(1/2)
１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(1/2)まとめ ・ニューラルネットワークが何に着目して画像を分類しているか特定する事は困難 ・従来手法は注目している場所や全体的な特徴はわかるが特徴が分離できていない ・St...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)まとめ ・蒸留でサイズを削減する際は教師モデルから生徒モデルを訓練する追加計算が必要 ・更にTokenMoEを蒸留しても向上したパフォーマンスを全て維持する事...