BERT

学習手法

HuBERT:話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)

1.HuBERT:話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)まとめ ・他の人の話を聞いたり交流するだけで音声をよりよく認識して学習するAIは大きな目標 ・実現には単語だけでなく話者の個性、感情、割り込みなど、多くを分...
学習手法

KELM:ナレッジグラフを言語モデルの事前トレーニング資料に統合

1.KELM:ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望...
モデル

ALIGN:ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)

1.ALIGN:ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現 ・微調整を行うとALIGNはBiTやViTなど...
データセット

Crisscrossed Captions:画像とテキストの意味的類似性の探求(3/3)

1.Crisscrossed Captions:画像とテキストの意味的類似性の探求(3/3)まとめ ・文対文タスクと画像対文タスクでトレーニングされたマルチタスクモデルが最も優秀だった ・文対文のトレーニングを追加すると画像対文、文対画...
モデル

2021年時点の各分野における最先端の機械学習モデルの紹介

1.2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggl...
アプリケーション

GPT-3を使った次世代アプリの紹介

1.GPT-3を使った次世代アプリの紹介まとめ ・GPT-3の発表から9か月だが既に300を超えるアプリケーションがAPI経由で使用している ・顧客からの意見の要約、仮想存在との対話、超高速セマンティック検索などで実用化 ・プラットフ...
学習手法

ニューラルネットワークを疎にして推論を高速化(2/2)

1.ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネ...
基礎理論

ディープラーニングコースを受講した生徒からの興味深い質問(3/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネット...
基礎理論

ディープラーニングコースを受講した生徒からの興味深い質問(1/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面...
アプリケーション

より少ないデータから表形式データを推論することを学習(2/2)

1.より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査...
アプリケーション

より少ないデータから表形式データを推論することを学習(1/2)

1.より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレー...
基礎理論

RxR:多言語の案内指示に対応する能力を測るベンチマーク(2/2)

1.RxR:多言語の案内指示に対応する能力を測るベンチマーク(2/2)まとめ ・RxRには約1,000万語が含まれており既存のデータセットの約10倍の規模 ・RxRを使い現在の最良のモデルであっても人間の半分程度のスコアである事が判明 ...
タイトルとURLをコピーしました