モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...
ベンチマーク
モデル 
入門／解説 RWRL：強化学習の課題に取り組むための一連のシミュレーション(2/2)
１．RWRL：強化学習の課題に取り組むための一連のシミュレーション(2/2)まとめ ・RWRLは現在のRLが抱える9つの異なる課題のうち8つに関連する実験を行う機能を提供 ・複数の課題と難易度レベルを組み合わせた環境でアルゴリズムをテストす...
入門／解説 RWRL：強化学習の課題に取り組むための一連のシミュレーション(1/2)
１．RWRL：強化学習の課題に取り組むための一連のシミュレーション(1/2)まとめ ・成功している強化学習はシミュレータが利用可能か動作環境が安価に利用可能である ・シミュレーターが利用できない環境で強化学習を実際の製品に展開する事は難しい...
モデル MediaPipe KNIFT：テンプレートベースの画像検索を改善(2/3)
１．MediaPipe KNIFT：テンプレートベースの画像検索を改善(2/3)まとめ ・ハード ネガティブ トリプレット マイニングにより学習用データの品質を向上している ・KNIFTを数十億規模画像データセットに対して迅速な画像検索を行...
モデル RepNet：人工知能で動画内の反復行動を数える(1/2)
１．RepNet：人工知能で動画内の反復行動を数える(1/2) ・月の満ち欠けや心拍や呼吸、製造ラインや交通パターンなどの反復行動は現実世界で一般的 ・反復行動を理解する事でより複雑な行動パターンを認識できたり様々な洞察を得る事ができる ・...
モデル 自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず ・これを利用しBERTと同様なデータ自体の構造にのみ依...
学習手法 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比...
入門／解説 AttentionAgent：重要度が低い情報を無視する強化学習エージェント(2/2)
１．AttentionAgent：重要度が低い情報を無視する強化学習エージェント(2/2)まとめ ・Attention Agentは主要タスクにとって重要ではない情報を無視するので小規模環境変化に対応可能 ・しかし、背景を猫動画に変更するよ...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(3/3)
１．BLEURT:人工知能が生成した文章の品質を評価(3/3)まとめ ・BLEURTは、何百万もの合成文章ペアを使用してモデルを「ウォームアップ」して品質を向上した ・既存の評価手法と比較するとBLEURTは最も良く人間による品質評価と相関...
基礎理論 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)まとめ ・標準的な視覚タスクベンチマークでBiT-Lを評価し少数セット設定でなくとも効果的である事が判明 ・タスク毎にハイパーパラメータを調整をせず...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)まとめ ・視覚タスクにおけるラベル付きデータの欠如を軽減する一般的なアプローチは事前学習 ・事前学習は実際にかなりうまく機能するが非常に大規模データ...
入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(3/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(3/3)まとめ ・Meta-Datasetを使った研究によりサポートデータの数とアルゴリズムの重要性が判明 ・様々なモデルは、微調整時に提供されるサポートデ...