モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
モデル
モデル 
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(3/3)
１．目を正面から撮影した写真で病気の兆候を検出(3/3)まとめ ・身体的特徴が異なる患者群に対しても比較対象モデルより予測性が高かった ・広く商用利用するためには必要な画質レベルの把握など多くの追加研究が必要 ・包括的なデータセットで更にテ...
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(2/3)
１．目を正面から撮影した写真で病気の兆候を検出(2/3)まとめ ・モデルの性能をAUCで測定したところ、HbA1c の上昇を 67 ～ 70% で測定できた ・リストの上位5％を見ると69%はHbA1c測定値が9以上でこれは有意に高かった ...
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(1/3)
１．目を正面から撮影した写真で病気の兆候を検出(1/3)まとめ ・3年前ディープラーニングを用いて眼底写真(目の奥の写真)心血管リスク因子を予測した ・その後、慢性腎臓病や糖尿病、貧血検出値など眼底写真からさらなる兆候の発見があった ・今回...
モデル MBT：動画における新しいモダリティ融合モデル(3/3)
１．MBT：動画における新しいモダリティ融合モデル(3/3)まとめ ・少数のattentionボトルネックを使用しても計算量はそれほど大きく増えずほぼ一定に保たれる ・MBTの融合ボトルネックは画像のより小さな領域にAttentionを集中...
モデル MBT：動画における新しいモダリティ融合モデル(2/3)
１．MBT：動画における新しいモダリティ融合モデル(2/3)まとめ ・マルチモーダルモデルで複雑性が増す問題は、注意の流れを削減して緩和する事が可能 ・本研究では融合レイヤーの位置と注意のボトルネックを用いて注意の流れを制限した ・中期融合...
モデル MBT：動画における新しいモダリティ融合モデル(1/3)
１．MBT：動画における新しいモダリティ融合モデル(1/3)まとめ ・人は複数の感覚からの入力を通して世界と関わり情報を組み合わせる事が可能 ・同様に複数の入力を取扱可能なモデルをマルチモーダルな機械学習モデルという ・MBTと呼ぶ動画にお...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)まとめ ・SPLは様々な事前学習手法のいずれよりも優れておりどのようなデータセットにも適用可能 ・SPLは学習を複雑にせず教師-生徒ベースの学習フレーム...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(2/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(2/3)まとめ ・SPLは、教師-生徒学習の枠組みを発展させたシンプルな手法で教師モデルと生徒モデルからなる ・動画検索時に使用したテキストと教師が予測したラベ...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(1/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(1/3)まとめ ・動画認識モデルの学習には大量の動画に手動で注釈を付ける必要がある場合が多く労力がかかる ・ゆるくラベル付けした動画から視覚的知識を学習する手法...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)まとめ ・ProtENNが配列並びベースの手法と相補的な情報を学習することを実証してアンサンブルした ・取り組みの成果として680万件の新しいタンパク質配列の注釈セ...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(2/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(2/3)まとめ ・既存手法は直線的な並びに着目しているがタンパク質は隣接していないアミノ酸の影響も受ける ・畳み込みニューラルネットワークを使用して非局所的なアミノ酸の相互...