モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
language modeling
モデル 
モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...
アプリケーション YouTuber向けのSmartReply機能が実装(1/2)
１．YouTuber向けのSmartReply機能が実装(1/2)まとめ ・Gmailで自動的に返信案を作ってくれるSmartReplyがYoutubeのコメント欄で利用可能に ・現在は英語とスペイン語のコメント用だが複数言語対応用の基盤は...
入門／解説 PAWS：自然言語の言い換えの理解を促進する新しいデータセット(3/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(3/3)まとめ ・BERTなどの強力なモデルはPAWSでトレーニングすると大幅に性能が向上 ・BOWなどの文脈情報を学習できないモデルではPAWSを使っても性能向上せず ・...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
入門／解説 GPT-2が自動生成したその他の文章(3/3)
１．GPT-2が自動生成したその他の文章(3/3)まとめ ・GPT-2が自動作成した事実を強引に捻じ曲げる文章とフェイクニュースの２つの紹介 ・どちらも25回の試行を行っているためGPT-2的には作りにくい文章だったかもしれないが出来が良い...
入門／解説 GPT-2が自動生成したその他の文章(2/3)
１．GPT-2が自動生成したその他の文章(2/3)まとめ ・GPT-2が得意とする文章である指輪物語の二次創作と宿題 ・指輪物語は物語内に出てくる固有名詞しか使っておらず物語としてほぼ成立している ・宿題の方はダラダラと要旨を掴みにくい文章...
入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ ・GPT-2が出力したユニコーン以外の文章の紹介 ・プレスリリース、ニュース、芸能ニュース、の3種類 ・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう ２．GPT...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(3/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(3/3)まとめ ・GPT-2のような大規模な言語モデルは良い事に使う事もできるが悪用する事も出来る ・画像や音声、動画も簡単に偽造出来る現在では予想外の悪用方法があるかもしれない ・従来...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(2/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(2/3)まとめ ・GPT-2はWinograd Schema、LAMBADA、およびその他の言語モデリング用タスクで最先端のスコアを達成 ・質問回答、読解力、要約、翻訳などの他の言語タス...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(1/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(1/3)まとめ ・アンデス山脈の辺境の谷間にかなり普通の英語を話すユニコーンの群れが生息している事が判明 ・彼らの起源はまだはっきりしていないが人間が文明化する前にユニコーンと出会った時...
基礎理論 Transformer-XL：Attentionモデルの可能性を解き放つ
１．Transformer-XL：Attentionモデルの可能性を解き放つまとめ ・固定長の制限があったTransformerを大幅に改良するTransformer-XLの登場 ・「セグメントレベルの再帰」と「相対位置符号化」によりブレー...