基礎理論 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(3/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(3/3)まとめ ・ラベル付与されたサンプルが偏っている場合にSR-GNN正則化で30～40%の分類性能向上が可能 ・グラフの畳み込みを高速化するために線...
基礎理論 基礎理論 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(2/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(2/3)まとめ ・データセットの分布の変化と分類精度の間に強い負の相関があり変化に伴い性能が劣化 ・シフト堅牢正則化器で学習サンプルとラベルなしデータサ...
基礎理論 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)まとめ ・GNNは学習サンプルが一様にランダムに選択されるIIDなサンプルである事を仮定している ・現実世界のデータは通常IIDではないため、偏...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)まとめ ・SPLは様々な事前学習手法のいずれよりも優れておりどのようなデータセットにも適用可能 ・SPLは学習を複雑にせず教師-生徒ベースの学習フレーム...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(2/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(2/3)まとめ ・SPLは、教師-生徒学習の枠組みを発展させたシンプルな手法で教師モデルと生徒モデルからなる ・動画検索時に使用したテキストと教師が予測したラベ...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(1/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(1/3)まとめ ・動画認識モデルの学習には大量の動画に手動で注釈を付ける必要がある場合が多く労力がかかる ・ゆるくラベル付けした動画から視覚的知識を学習する手法...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)まとめ ・生徒モデルをマッチングさせる手法はグローバルとローカルの２種があるがローカルを使った ・パラ言語情報の中間特徴表現は徐々に増加し、次に減少し、再び増加する二峰...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)まとめ ・CAP12に基づくモデルは8つのパラ言語タスクの5つでタスク特化モデルよりも優れている ・CAP12をスマートフォンで使えるようにするため知識蒸留を使用して既...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(1/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(1/3)まとめ ・機械システムは口調、感情、マスク有無など、パラ言語的な側面に苦戦している ・最先端モデルは超大規模なモデルであるためモバイル機器上の実行は現実的でない ・6つ...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)まとめ ・ProtENNが配列並びベースの手法と相補的な情報を学習することを実証してアンサンブルした ・取り組みの成果として680万件の新しいタンパク質配列の注釈セ...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(2/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(2/3)まとめ ・既存手法は直線的な並びに着目しているがタンパク質は隣接していないアミノ酸の影響も受ける ・畳み込みニューラルネットワークを使用して非局所的なアミノ酸の相互...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(1/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(1/3)まとめ ・タンパク質のアミノ酸配列の構造と機能の関係を理解することは科学にとって非常に重要 ・機能が未知のタンパク質はまだ多く、信頼性の高い注釈が付与されていないも...