OpenAIから削除要求を受けたとされるサム・アルトマン氏のインタビュー記事

１．OpenAIから削除要求を受けたとされるサム・アルトマン氏のインタビュー記事まとめ

・OpenAIの今年の目標はより安価で高速なGPT-4の提供が最優先事項だが現在利用可能なGPUが十分ではない事による制限を受けている
・2023年はより長いコンテキストウィンドウ、微調整APIの拡張、会話履歴を保持するAPIなどが予定されているがマルチモダリティは来年
・スケーリング法則は終わったわけではなく規模拡大速度が維持できないだけ。今後もモデルサイズを毎年2倍、3倍の大きさにする可能性はある

２．サム・アルトマンが語るChatGPTの今後の計画

以下、humanloop.comより「OpenAI’s plans according to Sam Altman」の意訳です。元記事の投稿は2023年6月、Raza HabibさんによるOpenAIのCEOのサム・アルトマンさんへのインタビュー記事です。

情報があまりにも敏感すぎるとOpenAIからの要望で削除されたとされる記事です。正直、推測できる範囲の事ではあり且つ、(ビジネス的な観点以外からは)そんなに問題発言はしていないとは感じます。削除されたという話がなければ、特に注目を集めなかったとは思うのですが、どこの何がひっかかったのだろうと考えながら読むと興味深いかもしれません。

アイキャッチ画像は、自信と情熱に満ちたCEOがインタビューに答えて、割と勇み足の発言をしてしまっている感じの画像

先週、私はSam Altmanと他の20人の開発者と一緒に、OpenAIのAPIとその製品計画について話し合う機会に恵まれました。サムは驚くほどオープンでした。議論は、実用的な開発者の問題だけでなく、OpenAIのミッションやAIの社会的影響に関連する、より大局的な質問にも触れました。以下は、その主な内容です：

１．OpenAIは現在、GPUの制約を大きく受けている

ディスカッションを通じて出てきた共通のテーマは、現在OpenAIはGPUの制約が大きく、そのために短期的な計画の多くを遅らせているということでした。顧客からの最大の不満は、APIの信頼性とスピードについてでした。サムは彼らの懸念を認め、問題のほとんどはGPU不足の結果であると説明しました。

より長い32kのコンテキストは、まだ多くの人に展開することができません。OpenAIはAttentionのO(n^2)スケーリングを克服できていないため、10万～100万のトークンコンテキストウィンドウをすぐに(今年中に)実現することは可能だと思われますが、それ以上大きくなると研究のブレークスルーが必要になってきます。

微調整API(finetuning API)は、現在、GPUの利用可能性がボトルネックになっています。AdaptersやLoRaのような効率的な微調整手法をまだ使っていないため、微調整の実行と管理には非常に多くの計算が必要です。微調整のためのより良いサポートは、将来的に提供されるでしょう。また、コミュニティが提供するモデルのマーケットプレイスをホストする可能性もあります。

専用環境(Dedicated capacity)の提供も利用可能なGPUが少ない事によって制限されています。OpenAIは、顧客にモデルのプライベートコピーを提供する専用環境も提供しています。このサービスにアクセスするためには、顧客は最初に$10万ドルの費用を払う意思がある必要があります。

２．OpenAIの短期的なロードマップ

サムは、OpenAIのAPIに関する暫定的な短期ロードマップを紹介しました。

2023年

・より安価で高速なGPT-4 – これが彼らの最優先事項です。一般的に、OpenAIの目的は「インテリジェンスのコスト」を可能な限り下げることなので、時間をかけてAPIのコストを下げ続けるよう努力します。

・より長いコンテキストウィンドウ – 100万トークンという高いコンテキストウィンドウは、近い将来、実現可能です。

・微調整API – 微調整APIは最新モデルにも拡張される予定ですが、その具体的な形は、開発者が本当に望んでいることを示すことによって形作られるでしょう。

・状態を保存するAPI（ステートフルAPI） ― 現在、chatGPTのAPIを呼び出すときは、同じ会話履歴を何度も投げてて、同じトークンの費用を何度も支払う必要があります。しかし、将来的には会話履歴を記憶するバージョンのAPIが出てくるでしょう。

2024年

マルチモダリティ – これはGPT-4リリースの一部としてデモされましたが、より多くのGPUが利用可能になった後まで、すべての人に拡張することはできません。

３．プラグインは「市場のニーズに適合していない」ので、すぐにAPIから利用可能になる事はないでしょう

多くの開発者がAPI経由でChatGPTのプラグインにアクセスすることに興味を持っていますが、サムはすぐにリリースされるとは思えないと述べました。ブラウジング以外のプラグインの使い方を見ると、まだ製品市場適合性(PMF:Product-Market Fit。製品が市場のニーズに適合していて、その市場で競争力があること)がないように見えます。また、多くの人が自分のアプリをChatGPTの中に入れたいと考えているが、本当に欲しいのはアプリの中にChatGPTがある事ではないかと提案しました。

４．OpenAIは(ChatGPT以外の分野で)顧客との競合を避けます

多くの開発者が、OpenAIが自社製品と競合する製品をリリースする可能性がある場合、OpenAIのAPIを使って構築することに不安を感じると言っていました。サムは、OpenAIがChatGPTを超える製品をリリースすることはないだろうと言いました。彼は、優れたプラットフォーム企業はキラーアプリを持つという歴史があり、ChatGPTは自分たちの製品の顧客となることで、APIをより良いものにすることができるだろうと述べました。ChatGPTのビジョンは、仕事用の超スマートアシスタントですが、OpenAIが手を出さないGPTのユースケースは他にもたくさんありそうです。

5. 規制は必要だが、オープンソースも同様に必要

サムは、将来のモデルに対する規制を求める一方で、既存のモデルが危険だとは考えておらず、規制や禁止をするのは大きな間違いだと考えているとのことでした。

また、オープンソースの重要性を改めて説き、OpenAIがGPT-3のオープンソースを検討していることを明かしました。まだオープンソース化していない理由の一つは、大規模なLLMをホストしてサービスを提供する能力を持つ個人や企業がどれだけあるかということに懐疑的であったためだそうです。

６．モデルの規模拡大の法則はまだ有効

最近、多くの記事が「巨大なAIモデルの時代はすでに終わった」と主張しています。これは正確な表現ではありませんでした。

OpenAIの内部データによると、モデルの性能がモデルの規模を拡大するに伴って向上するスケーリング法則(scaling laws)は引き続き維持されており、モデルを大きくすることで性能を発揮し続けることができます。

OpenAIはわずか数年でモデルを数百万倍も大きくしたため、スケーリングの速度を維持することはできず、今後もそれを続けることは不可能です。とはいえ、OpenAIが今後もモデルを大きくしようとしないわけではなく、何桁も大きくなるのではなく、毎年2倍、3倍の大きさになる可能性があるということです。

スケーリングが機能し続けるという事実は、汎用人工知能(AGI:Artificial General Intelligence)開発のタイムラインに大きな影響を与えます。スケーリング仮説(scaling hypothesis)とは、AGIを構築するために必要なピースはほとんど揃っていて、残りの作業のほとんどは、既存の方法を用いて、より大きなモデルや大きなデータセットにスケールアップすることであるという考え方です。もしスケーリングの時代が終わったのであれば、AGIはもっと先になると考えるべきでしょう。しかし、スケーリングの法則が続いているという事実は、より短い時間軸を強く示唆するものです。