モデル 幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)まとめ ・Routing TransformersとREALMに基づいた質問応答システムは従来のスコアを更新 ・しかし既存のベンチマークには進歩を妨げるいくつかの問...
ベンチマーク
モデル モデル 幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベース...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない ・LEAFは話者識別、音響シーン認識、楽器の識別...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
AI関連その他 Model Search：最適なMLモデルを見つけるためのオープンソースプラットフォーム(2/2)
１．Model Search：最適なMLモデルを見つけるためのオープンソースプラットフォーム(2/2)まとめ ・Model Searchは自分で選択したアーキテクチャで構築された新しい探索スペースも利用可能 ・Model Searchに実装...
モデル Dreamer V2：モデルベース強化学習でモデルフリー強化学習を超える(2/2)
１．Dreamer V2：モデルベース強化学習でモデルフリー強化学習を超える(2/2)まとめ ・Atariベンチマークには3つのパフォーマンス計測基準が存在するが一長一短であった ・Clipped Record Meanと言う従来手法より人...
モデル Dreamer V2：モデルベース強化学習でモデルフリー強化学習を超える(1/2)
１．Dreamer V2：モデルベース強化学習でモデルフリー強化学習を超える(1/2)まとめ ・従来のモデルベース強化学習はモデルフリーアプローチに正確性で劣った ・Dreamer V2はAtariベンチマークで人間レベルのパフォーマンスを...
モデル Transporter Networks：物体の再配置問題を改善してロボットの性能を向上(2/2)
１．Transporter Networks：物体の再配置問題を改善してロボットの性能を向上(2/2)まとめ ・Transporter Netはサンプル効率が高く100回のデモで多くのタスクで90%以上の成功率 ・Transporter N...
インフラ 人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)
１．人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)まとめ ・ディープラーニングには大量の計算が必要なのでクラウドか自作ハードウェアを選ぶ事になる ・自作ハードウェアは長期目線ではコストの削減とスピードの向上に繋がる可...
アプリケーション より少ないデータから表形式データを推論することを学習(1/2)
１．より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレーニン...
基礎理論 RxR：多言語の案内指示に対応する能力を測るベンチマーク(2/2)
１．RxR：多言語の案内指示に対応する能力を測るベンチマーク(2/2)まとめ ・RxRには約1,000万語が含まれており既存のデータセットの約10倍の規模 ・RxRを使い現在の最良のモデルであっても人間の半分程度のスコアである事が判明 ・R...
基礎理論 RxR：多言語の案内指示に対応する能力を測るベンチマーク(1/2)
１．RxR：多言語の案内指示に対応する能力を測るベンチマーク(1/2)まとめ ・話し言葉や書き言葉を使った指示に応じて複雑な環境を案内できるAIの開発は大きな課題 ・視覚と言語のナビゲーション(VLN)と呼ばれるこの課題には、空間言語の高度...