GPT-2のリリースから六か月後の振り返り(2/2)

2019年2月
・OpenAIがGPT-2に関するブログ投稿と論文を公開
・小規模なパラメーター(124M)を使用するGPT-2モデルをリリース

2019年3月
・OpenAIとAIパートナーシップで夕食会を共同開催し、公開基準について議論し、その後、議論をまとめたブログを公開

2019年5月
・中規模なパラメーター(355M)を使用するGPT-2モデルをリリース
・大規模モデルが出力した文章のデータセットをリリース
・GPT-2などの自動でテキストを生成するAIの出力を検出する方法を人々が理解できるように、検出用のベースラインソフトをリリース
・これらの変更点を元のブログ投稿に反映
・Adam Kingが「TalktoTransformer.com」を立ち上げ、新しくリリースされたモデルを試すページを人々に提供
・Hugging Face社がGPT-2モデルに基づいた会話型AIデモをリリース。リリースの際に倫理的考慮事項のいくつかについて議論し、大規模なGPT-2モデルをリリースしないことを決定
・ワシントン大学とAIを研究しているアレン研究所の研究者達は、GPT-2スタイルの言語モデルであるGROVERを発表しました。彼らはモデルの大規模バージョンはリリースせず、そのようなモデルの出力を検出する手法を研究中

2019年6月
・OpenAIが、AIを使った文章合成に関する議論など、合成メディアの意味について議会で証言
・DeepMindが、GPT-2と生成モデルの適切な公開基準の重要性について、教師なし学習に関する討論の中で取り上げる
・OpenAIが、AI研究における公開基準のために、AIに関するパートナーシップの研究協力を開始。さまざまなAI研究組織と協力して、科学者が公開前に確認したい考えるであろうことや、公開を決定するために使用できる潜在的なフレームワークを考案中

2019年7月
・DeepTabNineがGPT-2に基づいたコードの自動補完器を開発
・自己回帰トランスフォーマモデルを使用したマルチターン対話応答(Multi-turn Dialogue Response)の生成
・GLTR：AIによる生成されたテキストを統計的に検出し可視化する試みが発表

2019年8月
・思慮深い技術プロジェクト(Thoughtful Technology Project)とケンブリッジ大学の研究者は、「合成メディア研究の悪用の削減：機械学習の考慮事項と潜在的なリリース手法」に関するワーキングペーパーを公開
・arxiv.orgで論文「Hello, It’s GPT-2—How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems」を公開
・AIスタートアップのAI21 LabsがニューラルテキストジェネレーターであるHAIMをリリース。モデルは345Mのみがリリースされており、これはGroverやGPT-2が公開しているバージョンとパラメータサイズが同等です。
・NVIDIA Researchが83億のパラメーターを持つGPT-2モデルをトレーニング
・OpenAIがより大きなパラメータ(774M)のGPT-2モデルをリリース