multi-task learning

MT-OptとActionable Models：複数ロボットで自動データ収集を行って初見タスクを実行可能にする(3/3)

１．MT-OptとActionable Models：複数ロボットで自動データ収集を行って初見タスクを実行可能にする(3/3)まとめ・MT-Optでデータ収集が容易になったがより広いタスクを学習させる事を検討した・目標条件付き学習は「目...

2021.04.27

ロボット学習手法

１．MT-OptとActionable Models：複数ロボットで自動データ収集を行って初見タスクを実行可能にする(2/3)まとめ・大規模マルチタスクデータ収集システムのタスク間バランスを取りMT-Optを構成・MT-Optを使用する...

2021.04.26

ロボット学習手法

１．MT-OptとActionable Models：複数ロボットで自動データ収集を行って初見タスクを実行可能にする(1/3)まとめ・ロボットの自律運用を可能にするためには数千時間単位でロボットを動かす必要がある・NLPにおける事前トレ...

2021.04.25

ロボット学習手法

１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない・LEAFは話者識別、音響シーン認識、楽器の識別...

2021.03.30

モデル学習手法

１．GO：グラフ最適化用強化学習(2/3)まとめ・GOはGraphSAGEを利用しておりトレーニング時に見た事がないグラフに対して一般化可能・GOは規模拡大可能なAttentionが含まれノード間の距離が離れていても依存関係を捕捉可・...

2020.12.24

学習手法基礎理論

１．機械学習を使った洪水予測の仕組み(3/3)まとめ・過去の水位測定値を過去の浸水と相関させ水理モデルの修正箇所を特定できるようにした・水文モデルに関するいくつかの基礎研究にも取り組んでおりマルチタスクラーニングを適用・従来モデルより...

2019.09.30

入門／解説

１．Parrotron：発声が困難な人のために音声コミュニケーションを改善する試み(2/3)まとめ・Parrotronは二段階にわけて学習を行う・第一段階は様々な音声データを単一の音声に変換する事前学習・第二段階では話者に特有の発声、...

2019.07.20

モデル

１．Snorkel MeTaLを用いた大規模マルチタスク学習(4/4)まとめ・小文字化BERTと非小文字化BERTの結果をアンサンブルする事により更に高いスコアを更新・Snorkelは、トレーニングデータを迅速に作成、モデル化、および管...

2019.06.05

学習手法

１．Snorkel MeTaLを用いた大規模マルチタスク学習(3/4)まとめ・自然言語推論(NLI)に関連するデータを用いてマルチタスク学習を実施・特殊な句読点を使用している文など特殊な事例に関して固有のタスクヘッドを追加して対応・「...

2019.06.04

学習手法

１．Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)まとめ・Snorkel MeTaLが最先端のスコアを達成するために辿った教師信号を具体的に解説・伝統的な教師信号から開始し、次の段階は事前学習からの転移学習・そして...

2019.06.03

入門／解説

１．Snorkel MeTaLを用いた大規模マルチタスク学習(1/4)まとめ・教師あり学習問題に取り組む際に必要な要素はモデル、ハードウェアおよび訓練データの３つ・モデルはオープンソース文化、ハードウェアはクラウドにより最新の物が比較的...

2019.06.02

入門／解説

１．Weak Supervision:機械学習のための新しいプログラミングパラダイム(4/4)まとめ・Snorkelの研究は続けられており、ラベル付け関数の自動生成！など、様々な場面での活躍が見込まれる・マルチタスクラーニング(MTL)...

2019.05.24

入門／解説