学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
学習手法
学習手法 
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)まとめ ・事前学習を３ステップにする事で最大で600倍少ないデータで高品質なモデルを学習可能 ・この手法はモデルのアーキテクチャやデータセットに依存しないことが...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)まとめ ・胸部X線画像は一般に他の医療用画像診断よりも安価で身近な存在だが有効活用できていない ・機械学習モデルは有効活用に貢献するが大規模なラベル付きデータは...
学習手法 Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)
１．Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)まとめ ・Plexは各サブモデルが予測を行って集約することでより効率的なアンサンブルを行う ・Plexはタスク毎にチューニングせずともモデルの出力そのままで...
学習手法 Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(1/2)
１．Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(1/2)まとめ ・機械学習は学習データから分離したテストデータに適用した場合に最も精度が高くなる ・しかし、現実世界で直面するデータが学習データと一致している事はほ...
モデル CMT-DeepLa：パノプティックセグメンテーションをクラスタ問題として考える(2/2)
１．CMT-DeepLab：パノプティックセグメンテーションをクラスタ問題として考える(2/2)まとめ ・マスクtransformerをクラスタリングの観点から再定義すると性能と解釈可能性が大幅に向上 ・kMaX-DeepLabは修正が簡単...
モデル CMT-DeepLa：パノプティックセグメンテーションをクラスタ問題として考える(1/2)
１．CMT-DeepLab：パノプティックセグメンテーションをクラスタ問題として考える(1/2)まとめ ・パノプティックセグメンテーションは車や人等の実体と雲や道路等の意味的存在を同時に扱う ・従来はインスタンスセグメンテーションとセマンテ...
学習手法 Director：マネージャーの上に社長を配置して疎らな報酬に挑む(2/2)
１．Director：マネージャーの上に社長を配置して疎らな報酬に挑む(2/2)まとめ ・Directorは世界モデルに基づく2つの最先端アルゴリズムより高いスコアを出した ・必ずしも長期目線の探索を必要としてないタスクでも高いスコアを出せ...
学習手法 Director：マネージャーの上に社長を配置して疎らな報酬に挑む(1/2)
１．Director：マネージャーの上に社長を配置して疎らな報酬に挑む(1/2)まとめ ・強化学習はタスクがゴールに近づいている事を知るせるために報酬の設定が必要 ・ゴールに近づいている事がはっきりしない迷路探索タスクなどでは報酬設定が困難...
学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)まとめ ・MLGOを使用してレジスタ割当問題も大規模データセンターのQPSで0.3%～1.5%改善できた ・QPSは導入後数ヶ月間持続しており時間経過に伴って性能が劣化し...
学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)まとめ ・コンパイラのコードの最適化はデータセンターやスマホアプリの運用コストを削減可能 ・コンパイラの進歩は続いているが最適化に関する複雑な経験則が改良の妨げになってい...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)まとめ ・DALL-E 2の前バージョンでは、学習用の画像をそのまま再現してしまうことがあった ・使いまわされた画像は単純な画像やデータセット内で重複している...