入門／解説 Snorkel MeTaLを用いた大規模マルチタスク学習(1/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(1/4)まとめ ・教師あり学習問題に取り組む際に必要な要素はモデル、ハードウェアおよび訓練データの３つ ・モデルはオープンソース文化、ハードウェアはクラウドにより最新の物が比較的...
gpt-2
入門／解説 
入門／解説 (2018年4月時点で)データサイエンス初学者が知っておくと便利な10のツール(1/2)
１．(2018年4月時点で)データサイエンス初学者が知っておくと便利な10のツール(1/2)まとめ ・2018年4月時点でアメリカでデータサイエンティストが知っておくべきと見なされたツールの紹介 ・2018年後半に一つのブレークスルーがあっ...
入門／解説 MuseNet:ショパン風のレディガガ、ビートルズ風のハリポッターのテーマ(4/4)
１．MuseNet:ショパン風のレディガガ、ビートルズ風のハリポッターのテーマ(4/4) ・データセットは2つのMIDIファイルを公開しているサイトから提供を受けた ・MIDIファイルをより学習しやすい形式にコード化している ・コード化し、...
モデル MuseNet:ショパン風のレディガガ、ビートルズ風のハリポッターのテーマ(1/4)
１．MuseNet:ショパン風のレディガガ、ビートルズ風のハリポッターのテーマ(1/4)まとめ ・MuseNetは楽曲のスタイルを他の楽曲にコピーできる人工知能 ・大きな違和感を感じないような自然な形で異なったスタイルを融合可能 ・従来の同...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
入門／解説 GPT-2が自動生成したその他の文章(3/3)
１．GPT-2が自動生成したその他の文章(3/3)まとめ ・GPT-2が自動作成した事実を強引に捻じ曲げる文章とフェイクニュースの２つの紹介 ・どちらも25回の試行を行っているためGPT-2的には作りにくい文章だったかもしれないが出来が良い...
入門／解説 GPT-2が自動生成したその他の文章(2/3)
１．GPT-2が自動生成したその他の文章(2/3)まとめ ・GPT-2が得意とする文章である指輪物語の二次創作と宿題 ・指輪物語は物語内に出てくる固有名詞しか使っておらず物語としてほぼ成立している ・宿題の方はダラダラと要旨を掴みにくい文章...
入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ ・GPT-2が出力したユニコーン以外の文章の紹介 ・プレスリリース、ニュース、芸能ニュース、の3種類 ・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう ２．GPT...
学習手法 MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデル
１．MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデルまとめ ・MT-DNNはマイクロソフトが発表した新しい自然言語処理モデルでBERTを上回るスコアを出した ・2015年に提案したモデルに基づいて構築されマルチタスク学...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(3/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(3/3)まとめ ・GPT-2のような大規模な言語モデルは良い事に使う事もできるが悪用する事も出来る ・画像や音声、動画も簡単に偽造出来る現在では予想外の悪用方法があるかもしれない ・従来...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(2/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(2/3)まとめ ・GPT-2はWinograd Schema、LAMBADA、およびその他の言語モデリング用タスクで最先端のスコアを達成 ・質問回答、読解力、要約、翻訳などの他の言語タス...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(1/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(1/3)まとめ ・アンデス山脈の辺境の谷間にかなり普通の英語を話すユニコーンの群れが生息している事が判明 ・彼らの起源はまだはっきりしていないが人間が文明化する前にユニコーンと出会った時...