入門／解説 GPT-2が自動生成したその他の文章(2/3)
１．GPT-2が自動生成したその他の文章(2/3)まとめ ・GPT-2が得意とする文章である指輪物語の二次創作と宿題 ・指輪物語は物語内に出てくる固有名詞しか使っておらず物語としてほぼ成立している ・宿題の方はダラダラと要旨を掴みにくい文章...
調査/研究
入門／解説 入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ ・GPT-2が出力したユニコーン以外の文章の紹介 ・プレスリリース、ニュース、芸能ニュース、の3種類 ・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう ２．GPT...
入門／解説 MeRL：強化学習でまばらで仕様が曖昧な報酬に対応(1/3)
１．MeRL：強化学習でまばらで仕様が曖昧な報酬に対応(1/3)まとめ ・強化学習はアクションに対するフィードバック(報酬)が重要 ・報酬が疎であったり報酬に繋がる行動が不明では学習が困難 ・特に仕様が不明確な報酬は予想外の行動に繋がる可能...
入門／解説 量子プロセッサの極低温制御への道(1/2)
１．量子プロセッサの極低温制御への道(1/2)まとめ ・Googleの試算によれば第一世代の量子コンピュータはおよそ100万量子ビットを必要とする ・Googleが開発した最新の量子プロセッサであるBristleconeでさえも72量子ビッ...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(3/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(3/3)まとめ ・GPT-2のような大規模な言語モデルは良い事に使う事もできるが悪用する事も出来る ・画像や音声、動画も簡単に偽造出来る現在では予想外の悪用方法があるかもしれない ・従来...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(2/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(2/3)まとめ ・GPT-2はWinograd Schema、LAMBADA、およびその他の言語モデリング用タスクで最先端のスコアを達成 ・質問回答、読解力、要約、翻訳などの他の言語タス...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(1/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(1/3)まとめ ・アンデス山脈の辺境の谷間にかなり普通の英語を話すユニコーンの群れが生息している事が判明 ・彼らの起源はまだはっきりしていないが人間が文明化する前にユニコーンと出会った時...
入門／解説 FastText:テキストデータの特徴量抽出の実装(2/2)まとめ
１．FastText:テキストデータの特徴量抽出の実装(2/2)まとめ ・FastTextでembeddingを作成した後は単語間の類似性や仲間外れを計算する事が出来る ・聖書内の単語に関する類似性や関連性は上手に捉える事が出来ている ・単...
入門／解説 FastText:テキストデータの特徴量抽出の実装(1/2)
１．FastText:テキストデータの特徴量抽出の実装(1/2)まとめ ・FastTextは2016年にFacebookによって最初に発表された素のWord2Vecモデルを拡張および改善したもの ・各単語をBag of Character ...
入門／解説 外国語を半年でマスターする学習方法
１．外国語を半年でマスターする学習方法まとめ ・TEDの動画が元ネタなので詳細はそちらを参照 ・５つの原則を守り７つの実践をする ・日常会話の相手をしてくれる人が必要 ２．半年間で外国語で会話できるようになるためには？ 以下、TEDの動画よ...
入門／解説 Global Localization:GoogleMapを見ても道に迷う方向音痴な貴方へ
１．Global Localization:GoogleMapを見ても道に迷う方向音痴な貴方へまとめ ・Global LocalizationはVPSとストリートビューと機械学習を組み合わせて正確な場所と向きを特定する技術 ・GPSは人工衛...
入門／解説 第2回学習画像圧縮ワークショップとコンペの開催
１．第2回画像圧縮学習ワークショップとコンペの開催 ・CVPR 2019で画像圧縮に関するコンテストとワークショップが開催 ・低レート圧縮コンペは1ピクセルあたり0.15ビットに圧縮して質を保つ ・透過的な圧縮コンペは質を保ちながら可能な限...