AIHuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)
１．HuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)まとめ ・他の人の話を聞いたり交流するだけで音声をよりよく認識して学習するAIは大きな目標 ・実現には単語だけでなく話者の個性、感情、割り込みなど、多くを分...
BERT
AI
AIKELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合
１．KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望...
AIALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現 ・微調整を行うとALIGNはBiTやViTなど...
AICrisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(3/3)まとめ ・文対文タスクと画像対文タスクでトレーニングされたマルチタスクモデルが最も優秀だった ・文対文のトレーニングを追加すると画像対文、文対画...
AI2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggl...