入門／解説 最も役に立った機械学習に関する10の無料オンラインコース
１．最も役に立った機械学習に関する10の無料オンラインコースまとめ ・FastAIのJeremy HowardさんがTwitterで紹介してたまとめの意訳 ・英語の授業ですがどんなコースが評価されてるかの目安として ・良い評判を聞いた事のあ...
nlp
入門／解説 入門／解説 M4:超多言語、大規模ニューラル機械翻訳(2/3)
１．M4:超多言語、大規模ニューラル機械翻訳(2/3)まとめ ・使用可能なすべてのデータを使用してトレーニングすると低リソース言語の翻訳品質が劇的に向上 ・超多言語モデルは一般化に効果的であり多言語全体の特徴表現の類似性を捕捉できている可能...
入門／解説 PAWS：自然言語の言い換えの理解を促進する新しいデータセット(2/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(2/3)まとめ ・PAWSの作成には「言い換えペアになるかはわからないが意味ある文章を作成する単語交換モデル」を使用 ・単語変換モデルの出力結果を人間の評価者が目で言い換え...
ビッグデータ PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)まとめ ・語順が変わっても意味が変わらないフレーズを言い換えペア、意味が変わるペアを非言い換えペアと言う ・言い換えペアと非言い換えペアの識別は最先端のモデルでも苦...
入門／解説 気候変動に対してAIは何が出来るのか？(5/4)
１．気候変動に対してAIは何が出来るのか？(5/4)まとめ ・貴方のスキルがどのように役立つかを特定する事 ・共同作業者を見つけ意見を聞き、作業が望ましい影響を与えるように考案 ・インパクトを実現できる場所に作業を展開 ２．気候変動に対して...
入門／解説 GWASkb:ゲノムワイド関連解析情報を論文から自動抽出(6/6)
１．GWASkb:ゲノムワイド関連解析情報を論文から自動抽出(6/6)まとめ ・GWASkbの作成に使用されたシステムは、Snorkel IEフレームワークの上にPythonで実装されている ・本システムは少数の誤検出を発生させるため、全て...
入門／解説 GWASkb:ゲノムワイド関連解析情報を論文から自動抽出(2/6)
１．GWASkb:ゲノムワイド関連解析情報を論文から自動抽出(2/6)まとめ ・GWASkbは遺伝的多様体、表現型、およびp値を自動的に収集する ・構文解析、候補生成、候補分類の３段階を経て文書から関係性を抽出 ・スタンフォードCoreNL...
入門／解説 データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)まとめ ・ラベル付きデータが不足している際にデータを水増しする手法は進歩している ・しかし、基本的には教師付き学習でのみ利用可能な手法であった ・今回、ラベルなしデータを教...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(2/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(2/2)まとめ ・Evolved Transformerがオリジナルと比較してパフォーマンスが最も向上するのは小さいパラメータサイズ ・Evolv...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(1/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(1/2)まとめ ・Transformerは機械翻訳など連続したデータを扱う領域において優れた成果を上げている手動設計モデル ・コンピュータ画像を扱...
学習手法 Snorkel MeTaLを用いた大規模マルチタスク学習(4/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(4/4)まとめ ・小文字化BERTと非小文字化BERTの結果をアンサンブルする事により更に高いスコアを更新 ・Snorkelは、トレーニングデータを迅速に作成、モデル化、および管...
入門／解説 Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)まとめ ・Snorkel MeTaLが最先端のスコアを達成するために辿った教師信号を具体的に解説 ・伝統的な教師信号から開始し、次の段階は事前学習からの転移学習 ・そして...