アプリケーション HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(1/2)
１．HOD:あなたの医用画像分類器は、何を知らないかを知っていますか？(1/2)まとめ ・医療用画像分類人工知能の進歩は目覚ましいが珍しい症例を正確に分類するのは難しい ・「以前に見たことがない知らない状態」を検出することは分類外データ検出...
人工知能/機械学習
アプリケーション 
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(2/2)まとめ ・分離モデルには過剰分離や文脈の喪失などの潜在的な問題が存在している事はわかっている ・分離されたチャンネルとオリジナルの音声を使って分類する事で最良の結果を得...
モデル MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)
１．MixIT：教師なし学習で野鳥の鳴き声を聞き分けて分離する(1/2)まとめ ・機械学習を使って鳥の唄声で種を分類する事は鳴き声の重複や自然音の混入により困難 ・音声データから自動的に対象音を分離する教師なし学習であるMixIT手法を新規...
モデル LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)
１．LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)まとめ ・品質指標は微調整の有無にかかわらず、モデルパラメータの数とともに一般に改善する ・根拠性はモデルサイズが大きくなると向上するが外部の知識源を参照する事が可能 ・微...
モデル LaMDA：人間より機知に富んだ会話が可能な対話モデル(1/2)
１．LaMDA：人間より機知に富んだ会話が可能な対話モデル(1/2)まとめ ・LaMDAは最大1370億のパラメータを持つ対話に特化したニューラル言語モデル ・微調整を行い外部の知識ソースを活用する方法をモデルを教えて品質を向上した ・品質...
学習手法 StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)
１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)まとめ ・StylExは分類器を説明するものであり、現実世界の分類を説明するものではない ・現実世界におけるクラスラベル間の物理的な違いを特徴付けるとは限らない ・分...
学習手法 StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(1/2)
１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(1/2)まとめ ・ニューラルネットワークが何に着目して画像を分類しているか特定する事は困難 ・従来手法は注目している場所や全体的な特徴はわかるが特徴が分離できていない ・St...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)まとめ ・蒸留でサイズを削減する際は教師モデルから生徒モデルを訓練する追加計算が必要 ・更にTokenMoEを蒸留しても向上したパフォーマンスを全て維持する事...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)まとめ ・MoEは効果的だが多くのトークンを複数のexpertsに送ると多くの計算コストがかかる ・TokenMoEはTaskMoEと異なりタスク毎にサブネッ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(2/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(2/2)まとめ ・Batch Priority Routingにより優先度の低いトークンを捨てる事を強制 ・従来手法ではバッファ容量不足時に性能が低下するがBPRは堅牢 ・ルーテ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(1/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(1/2)まとめ ・大規模なモデルやデータセットを使用するためには大量の計算が必要になり困難 ・計算に必要なリソースを抑える有望な手法のひとつに条件付き計算がある ・これは常にネッ...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)まとめ ・部分的端末内連合学習のための手法であるFederated Reconstructionを発表 ・Federated ...