モデル CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)
１．CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)まとめ・予測を途中で切り上げる判断は局所的に行なうが、一貫性は全体で判断する・テキスト整合性とリスクの整合性を設定できるようにしてバランスを取る・完...
text generation
モデル モデル CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(1/2)
１．CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(1/2)まとめ・文章生成タスクは直前の単語に基づいて行われるため並列化が困難である・幾つかの単語は他の単語より次の単語を予測することが簡単な事実に着目した・...
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能・現時点では限られた...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(1/3)
１．BLEURT:人工知能が生成した文章の品質を評価(1/3)まとめ・人工知能が生成した文章を評価する手法は「人間による手動評価」と「機械による自動評価」の２つがある・手動評価は正確だが手間がかかり自動評価は気軽にできるが高度な言い換えに対...
学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行可能...
入門／解説 LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)まとめ・Transformerをベースとしたseq2seqモデルは高い性能を持つが文章生成に使うと３つの弱点がある・幻覚、大量のトレーニングデータ、推論速度、の3つの...
入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ・GPT-2が出力したユニコーン以外の文章の紹介・プレスリリース、ニュース、芸能ニュース、の3種類・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう２．GPT-2の作...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(3/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(3/3)まとめ・GPT-2のような大規模な言語モデルは良い事に使う事もできるが悪用する事も出来る・画像や音声、動画も簡単に偽造出来る現在では予想外の悪用方法があるかもしれない・従来のよう...
入門／解説 あなたが見逃してはいけない5つのpython機械学習プロジェクト
１．あなたが見逃してはいけない5つのpython機械学習プロジェクトまとめ・メジャーになりつつあるPythonの機械学習系ライブラリ５選まとめ・視覚化、自然言語作成、embeddingの３種より５ライブラリ・使い勝手は工夫されているものが多...