モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)まとめ ・pQRNNは前世代のモデルであるPRADOを更に改良したNLPモデルで３要素で構成 ・pQRNNは事前処理を一切行わず、テキスト入力だけから文脈表現を学習可...
モデル
モデル モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)まとめ ・昨年発表したPRADOはパラメータ数が少なくとも最先端のパフォーマンスを実現した ・PRADOはタスクに最も関連するトークンのみを学習するためパラメータを少...
ヘルスケア DeepVariant 1.0によるゲノム解析精度の向上(4/4)
１．DeepVariant 1.0によるゲノム解析精度の向上(4/4)まとめ ・PrecisionFDA前はエラー率が高いため、Oxford Nanoporeデータ用は使用できなかった ・UC Santa Cruz Genomics Ins...
ヘルスケア DeepVariant 1.0によるゲノム解析精度の向上(3/4)
１．DeepVariant 1.0によるゲノム解析精度の向上(3/4)まとめ ・DeepVariantはコードが共通なためIllumina、PacBio、Oxford Nanoporeを同時に改善 ・その他にも拡張データセットを使ったトレー...
ヘルスケア DeepVariant 1.0によるゲノム解析精度の向上(2/4)
１．DeepVariant 1.0によるゲノム解析精度の向上(2/4)まとめ ・従来、ゲノム解析はIllumina社の機器の短いが正確な読み取りデータを利用してきた ・近年、Pacific BiosciencesやOxford Nanopo...
ヘルスケア DeepVariant 1.0によるゲノム解析精度の向上(1/4)
１．DeepVariant 1.0によるゲノム解析精度の向上(1/4)まとめ ・ゲノム解読はハードウェアによる読み取りとソフトウェアによる識別で可能になった ・DeepVariantは様々なハードウェアに対応可能なCNNを使った識別用ソフト...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(3/3)まとめ ・RigLのパフォーマンスはトレーニング時間を伸ばすと基本時間の百倍までは常に改善された ・ResNet-50では最先端のtop 1精度、MobileNet-v1で...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(2/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(2/3)まとめ ・RigLはランダムマスクから開始し大きな勾配を持つ接続をアクティブする ・大きな勾配を持つ接続は損失を最も迅速に減少させることが期待出来るため ・RigLは他の手...
モデル RigL：ニューラルネットワークの冗長性を動的に最適化(1/3)
１．RigL：ニューラルネットワークの冗長性を動的に最適化(1/3)まとめ ・最新のディープニューラルネットワークアーキテクチャは冗長性が高い場合が多い ・重要度の低い接続を刈り取る事で疎なニューラルネットワークに改良すると性能が上がる ・...
モデル PWIL：敵対的トレーニングに依存しない摸倣学習(2/2)
１．PWIL：敵対的トレーニングに依存しない摸倣学習(2/2)まとめ ・PWILは敵対的手法でないためエージェントとエキスパートを直接類似させる事が可能 ・最先端の摸倣学習は敵対的トレーニングに依存しているアルゴリズム的に不安定 ・PWIL...
モデル PWIL：敵対的トレーニングに依存しない摸倣学習(1/2)
１．PWIL：敵対的トレーニングに依存しない摸倣学習(1/2)まとめ ・強化学習で報酬関数を設計する事が困難なケースは模倣学習が代替手段となる ・最先端の摸倣学習は敵対的トレーニングに依存しているアルゴリズム的に不安定 ・PWILは敵対的ト...
モデル KeyPose：ステレオ画像で透明物体の三次元ポーズ推定を更に改良(2/2)
１．KeyPose：ステレオ画像で透明物体の三次元ポーズ推定を更に改良(2/2)まとめ ・ステレオKeyPoseの重要な側面の1つはEarly fusionを使用してステレオ画像を融合する事 ・Late fusionまたは単眼入力と比較する...