GPT-2のリリースから六か月後の振り返り(2/2)

１．GPT-2のリリースから六か月後の振り返り(2/2)まとめ

・この度公開された774Mモデルに関する研究や使用方法が今後の公開方法に影響する
・GPT-2は近い将来出現が予想される強力な生成モデルの取り扱いに関するテストケースとなる
・段階的なリリースとパートナーシップベースのモデル共有の組み合わせが重要な基盤

２．GPT-2の関連年表

以下、openai.comより「GPT-2: 6-Month Follow-Up」の意訳です。元記事の投稿は2019年8月20日、Jack ClarkさんMiles Brundageさん、Irene Solaimanさんによる投稿です。

将来のリリースについての決定
前述のパートナーとの研究は、774Mモデルの使用方法を観察し、研究者や政策立案者と言語モデルについて話し合い、より大きなモデルに関する考慮事項を理解するとともに、将来のリリース決定に影響を与えています。段階的リリース戦略の一環として、現在の計画では数か月後に1558MパラメーターのGPT-2モデルをリリースする予定ですが、パートナーからの発見、または774Mモデルの悪意のある使用がこれを変更する可能性があります。

段階的なリリースとパートナーシップベースのモデル共有の組み合わせは、特に強力な生成モデルの取り扱いにおいて、責任を持ってAIを発表する際の重要な基盤になると思われます。大きなモデルに固有の問題は、時間の経過とともに減少するのではなく、拡大するでしょう。GPT-2に関する研究については、公開中の技術レポートでさらに詳しく説明しています。AIコミュニティが、AI研究の一部に固有の「モデル公開に関連する問題」について考える時に、参照できる情報として役立つでしょう。

GPT-2関連の年表

2019年2月
・OpenAIがGPT-2に関するブログ投稿と論文を公開
・小規模なパラメーター(124M)を使用するGPT-2モデルをリリース

2019年3月
・OpenAIとAIパートナーシップで夕食会を共同開催し、公開基準について議論し、その後、議論をまとめたブログを公開

2019年5月
・中規模なパラメーター(355M)を使用するGPT-2モデルをリリース
・大規模モデルが出力した文章のデータセットをリリース
・GPT-2などの自動でテキストを生成するAIの出力を検出する方法を人々が理解できるように、検出用のベースラインソフトをリリース
・これらの変更点を元のブログ投稿に反映
・Adam Kingが「TalktoTransformer.com」を立ち上げ、新しくリリースされたモデルを試すページを人々に提供
・Hugging Face社がGPT-2モデルに基づいた会話型AIデモをリリース。リリースの際に倫理的考慮事項のいくつかについて議論し、大規模なGPT-2モデルをリリースしないことを決定
・ワシントン大学とAIを研究しているアレン研究所の研究者達は、GPT-2スタイルの言語モデルであるGROVERを発表しました。彼らはモデルの大規模バージョンはリリースせず、そのようなモデルの出力を検出する手法を研究中

2019年6月
・OpenAIが、AIを使った文章合成に関する議論など、合成メディアの意味について議会で証言
・DeepMindが、GPT-2と生成モデルの適切な公開基準の重要性について、教師なし学習に関する討論の中で取り上げる
・OpenAIが、AI研究における公開基準のために、AIに関するパートナーシップの研究協力を開始。さまざまなAI研究組織と協力して、科学者が公開前に確認したい考えるであろうことや、公開を決定するために使用できる潜在的なフレームワークを考案中

2019年7月
・DeepTabNineがGPT-2に基づいたコードの自動補完器を開発
・自己回帰トランスフォーマモデルを使用したマルチターン対話応答(Multi-turn Dialogue Response)の生成
・GLTR：AIによる生成されたテキストを統計的に検出し可視化する試みが発表

2019年8月
・思慮深い技術プロジェクト(Thoughtful Technology Project)とケンブリッジ大学の研究者は、「合成メディア研究の悪用の削減：機械学習の考慮事項と潜在的なリリース手法」に関するワーキングペーパーを公開
・arxiv.orgで論文「Hello, It’s GPT-2—How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems」を公開
・AIスタートアップのAI21 LabsがニューラルテキストジェネレーターであるHAIMをリリース。モデルは345Mのみがリリースされており、これはGroverやGPT-2が公開しているバージョンとパラメータサイズが同等です。
・NVIDIA Researchが83億のパラメーターを持つGPT-2モデルをトレーニング
・OpenAIがより大きなパラメータ(774M)のGPT-2モデルをリリース

謝辞
この投稿に対するフィードバックに感謝します。Yura Burda, Daniela Amodei, Josh Tobin, Christopher Olah, Jeff Wu, Alec Radford, Ashley Pilipiszyn, Greg Brockman, Rowan Zellers, and Dario Amodei.