入門／解説 Google翻訳の最近の進歩(1/2)
１．Google翻訳の最近の進歩(1/2)まとめ・機械学習の進歩により自動翻訳品質が大幅に向上したがまだ人間のパフォーマンスには及ばない・利用可能な学習用データが少ない低リソース言語の翻訳品質は特に多くの課題が残されている・本投稿ではGoo...
転移学習
入門／解説 
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(2/3)
１．BLEURT:人工知能が生成した文章の品質を評価(2/3)まとめ・BLEURTは単語の重複度合に関わらず文章間の意味的類似性を捕捉できる新しい自動評価基準・内部的にはBERTの「文脈を意識した単語表現(contextual word r...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(1/3)
１．BLEURT:人工知能が生成した文章の品質を評価(1/3)まとめ・人工知能が生成した文章を評価する手法は「人間による手動評価」と「機械による自動評価」の２つがある・手動評価は正確だが手間がかかり自動評価は気軽にできるが高度な言い換えに対...
基礎理論 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)まとめ・標準的な視覚タスクベンチマークでBiT-Lを評価し少数セット設定でなくとも効果的である事が判明・タスク毎にハイパーパラメータを調整をせずBi...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)まとめ・BERTと同様にBiTも事前トレーニング済みのモデルを下流タスク用データで微調整をして転移学習する・事前トレーニングで使用する画像の量とモデ...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)まとめ・視覚タスクにおけるラベル付きデータの欠如を軽減する一般的なアプローチは事前学習・事前学習は実際にかなりうまく機能するが非常に大規模データセッ...
入門／解説 XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加してい...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い・物体の位置を認識する必要がない画像分類タスクなどの重みはパフォー...
モデル 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)まとめ・多くの視覚タスクモデルは「バックボーン(backbone)」と「ヘッド(head)」の2つの部分から構成される・ヘッドはタスク固有でもあるため転移学習ではバ...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い・これをアフォーダンスベースの操作と言い入力画像にアクション...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる・またGPT-2のように人間が読んでも非...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た・体系的な研究から得た最良の方法を組み合...