アプリケーション URL2Video：Webページから自動でビデオを作成する実験(1/2)
１．URL2Video：Webページから自動でビデオを作成する実験(1/2)まとめ ・URL2Videoは指定された制約を元にWebページを短いビデオに自動変換する研究段階のソフト ・HTMLから資産とそのスタイルを抽出し同様の見た目と感性...
アプリケーション 
入門／解説 Captum：PyTorchのモデル解釈用ライブラリ
１．Captum：PyTorchのモデル解釈用ライブラリまとめ ・CaptumはPyTorch用の解釈用ライブラリで最先端のアルゴリズムが利用可能になる ・モデルの出力に寄与する特徴表現の識別が容易になり設計改善や出力調査が可能になる ・視...
基礎理論 解釈しやすいニューロンがディープラーニングの性能を低下させる可能性
１．解釈しやすいニューロンがディープラーニングの性能を低下させる可能性まとめ ・一部のニューロンは猫画像など特定クラスを優先する性質を持ちこれをクラス選択性という ・クラス選択性は学習中に自動出現するので解釈可能性に関するツールとして注目さ...
学習手法 DVRL：強化学習を使って学習用データの影響を推定(2/2)
１．DVRL：強化学習を使って学習用データの影響を推定(1/2)まとめ ・DVRLはデータ価値の推定やノイズ影響の除去で従来手法より優れた成果を出した ・学習データが検証／テストデータと異なる分布に由来するドメイン適応シナリオも対応可 ・デ...
学習手法 DVRL：強化学習を使って学習用データの影響を推定(1/2)
１．DVRL：強化学習を使って学習用データの影響を推定(1/2)まとめ ・全てのデータサンプルがディープラーニングを学習させる際に等しく役立つわけではない ・低品質データを削除することでパフォーマンスを向上させる事が出来る場合もある ・DV...
モデル 人間による評価を使って要約を学ぶ(4/4)
１．人間による評価を使って要約を学ぶ(4/4)まとめ ・モデルは依然として不正確な要約を生成する可能性があり満点の要約は45%の割合で達成 ・人間がモデル出力の品質を簡単に評価できないようなタスクにも今回の手法を応用したい ・人間の好みに合...
モデル 人間による評価を使って要約を学ぶ(3/4)
１．人間による評価を使って要約を学ぶ(3/4)まとめ ・初期要約モデル、人間が要約品質を定量化、報酬モデル、RLによる微調整の4ステップで実現 ・要約品質の定量化はラベル付け作業者に高い報酬と緊密な連携を取る事で実現した ・報酬モデルを最適...
モデル 人間による評価を使って要約を学ぶ(2/4)
１．人間による評価を使って要約を学ぶ(2/4)まとめ ・人間によるフィードバックを使った微調整は他の手法と比較して品質に大きな影響を与えた ・Redditの投稿と非常に異なったスタイルで書かれたニュースデータセットにも対応できた ・要約の長...
モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...