GPT-3がAPI経由で利用可能に

１．GPT-3がAPI経由で利用可能にまとめ

・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる
・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能
・現時点では限られた機関とプライベートベータを行っている段階だが待ちリスト登録は可能

２．GPT-3とは？

以下、openai.comより「OpenAI API」の意訳です。元記事の投稿は2020年6月11日、Greg Brockmanさん、Mira Muratiさん、Peter Welinderさん、そしてOpenAIによる投稿です。

人間が読んでも不自然ではない文章を幾らでも作り出す事が出来るので「フェイクニュースが作り放題になってしまう！」と危惧されて一般公開が延期されたGPT-2が登場したのは2019年2月の事ですが、先日、その後継であるGPT-3、おそらくはGPT-2比で100倍近い性能を持つAIが発表され、それがAPI経由で使用可能になった事をお知らせする投稿です。

GPT-2に関しては下記をご覧ください。
GPT-2：より良い言語モデルとそれが暗示する事(1/3)
GPT-2：より良い言語モデルとそれが暗示する事(2/3)
GPT-2：より良い言語モデルとそれが暗示する事(3/3)

GPT-2が自動生成したその他の文章(1/3)
GPT-2が自動生成したその他の文章(2/3)
GPT-2が自動生成したその他の文章(3/3)

GPT-2のリリースから六か月後の振り返り(1/2)
GPT-2のリリースから六か月後の振り返り(2/2)

Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
Image GPTの画像補完の実例

発表されたばかりなのと世界がコロナで騒然としているため、GPT-3に関してはまだ評価が定まってない感がありますが、「こんな事まで出来てしまうのか！という驚きと共にこんな事も出来ないの？という驚きもある」とどなたかがツイートしていたのが印象に残っています。

なお、ヒントン先生は「GPT3の壮観なパフォーマンスから未来を推定すると、生命、宇宙、および全てに対する答えはたったの4兆398億のパラメーターであることが示唆されます」とツイートされてました。GPT-3の最大モデルは1750億パラメータらしいので、AIは後40倍弱でデミゴッド、すなわち半神の領域ぐらいには達するのでしょうか？

ちなみに4兆だったら10年以内に行けるって試算もあるらしいので、10年経ったら後はAI神が全てやってくれる世界がきて、私も残りの人生を縁側でお茶を飲みながらお団子を食べつつ日向ぼっこする平和な毎日を過ごす事が出来るようになるのかなぁ、と夢想しつつ選んだアイキャッチ画像はインドのデミゴットであるガネーシャでクレジットはPhoto by Jose Luis Sanchez Pereyra on Unsplash。ガネーシャは富の神様らしいので、OpenAI APIが成功するとイイですね、という思いも込めてます。

2020年10月追記)
OpenAIがGPT-3をマイクロソフトにライセンス供与しました。
2021年1月追記)
GPT-3モデルを使って画像の作成をするDALL·Eが発表されました。
GPT-3が創作した文章で芸術作品を作っている方の投稿を以下に翻訳しました。
2020年版AIによる創造と夢(1/2)
2020年版AIによる創造と夢(2/2)
2021年4月追記)
GPT-3を使った次世代アプリが開発元のOpenAIによって紹介されました
2021年6月追記)
GPT-3が的外れな回答をしてしまう事例とその改善手法が発表されました。
2021年8月追記)
GPT-3の子孫としてプログラミングを知らなくてもゲーム開発やプログラミング言語変換を可能にする人工知能Codexが発表されました。
2021年9月追記)
GPT-3を使って本を一冊要約する手法が発表されました。
2021年11月追記)
GPT-3の約2倍の性能で算数の文章問題を解く人工知能が発表されました。
GPT-3が申し込めば即日利用が可能になりました。
2021年12月追記)
ビットコイン急落時のツイートをGPT-3で感情分類するをアップしました
2023年3月追記)
リアルタイムにほぼ人間と見分けがつかない会話ができるチャットアプリchatGPTが公開されました。背後ではGPT-3.5を利用しています
GPT-4.0が公開されchatGPTやAPIで利用可能になりました。

OpenAIは新しく開発したAIモデルにアクセスするためのAPIをリリースします。

ほとんどのAIシステムは特定の使い方を想定して設計されていますが、本日リリースするAPIは、汎用の使い方、すなわち「テキストを入力するとテキストを出力する」ため、ユーザーは事実上、英語を用いるあらゆるタスクでAPIを試すことができます。

APIを製品に統合したり、まったく新しいアプリケーションを開発したり、このテクノロジーの長所と制限を調査したりするために、APIへのアクセスをリクエストできます。

TERMINALからAPIを起動するデモ

入力テキストを指定すると、APIは貴方が指定したパターンに一致させたテキストを出力します。

ほんの数例、実行したい事を示すだけで、APIを「プログラム」する事ができます。その成功率は通常、タスクの複雑さによって異なります。APIを使用して、学習させる事により特定のタスクのパフォーマンスを向上させることもできます。貴方が提供するデータセット(小規模でも大規模でも)から学習する事も出来ますし、またはユーザーまたはラベル付け作業者による応答を使って学習する事もできます。

私達はAPIを、誰でも簡単に使用できるようにするだけでなく、機械学習チームの生産性を高めるのに十分な柔軟性も備えるように設計しています。

事実、私達のチームの多くは現在、APIを使用しているため、分散型システムにかかわる複雑な問題を気にする事なく、機械学習の研究に集中できています。

現在、APIはGPT-3製品群の重みを持ったモデルで実行されており、速度とスループットが大幅に改善されています。機械学習関連技術は急速に進歩しているため、ユーザーが常に最新の技術を利用できるようにテクノロジーを常にアップグレードしています。

Excelを使ったデモ(音声付き)
トピックに「publicly traded technology companies(上場テクノロジー企業)」と入力すると自動でExcelの表項目を提案してきて、表データの作成までしてくれる。
一部を修正するとそれに合わせてソートしてくれる。
架空の企業情報を与えるとそこからデータを抽出して表に追記してくれる。

Wikipedia検索のデモ(音声付き)
「why is bread so fluffy?(何でパンってこんなにフワフワなの？)」と自然文で検索するとWikipediaの該当箇所をさっとだしてくる

この分野の進歩の速さは、驚くべき新しいAI製品が頻繁に発表される事を意味します。それは、世の中に有益な好ましい使われ方の可能性もありますし、有害な好ましくない使われ方の可能性もあります。

嫌がらせ、スパム、過激思想、組織による世論誘導(Astroturfing)などの明らかに有害な使用が認められた場合、APIの利用を中止します。ただし、この新しいAIテクノロジーがもたらす可能性のある全ての結果を予測する事はできないこともわかっているため、本日のリリースでは、広く一般にAPIを提供するのではなくプライベートベータ版としてリリースします。

これにより、APIが返す文章をユーザーがより適切に制御できるようにするツールを構築し、言語テクノロジーの安全関連の側面(有害な偏見が含まれていないか分析し、緩和し、介入する事など)を調査します。

私達が学んだことを共有して、ユーザーとより広いコミュニティがより人類にとって好ましいAIシステムを構築できるようにします。

APIは、OpenAIの使命を追求するための費用を賄うための収益源であることに加えて、様々な用途に使う事ができる汎用AIテクノロジーに注力するように私たちを促します。AIを使って、様々な技術を進歩させ、物事を可能にし、現実世界にAIが与える影響を熟考する事が必要です。

APIによって、AIを活用した有益な製品を製造するための障壁が大幅に下がり、現時点では想像も出来ないような便利なツールやサービスが実現することを願っています。

APIの探索に興味がありますか？ Algolia、Quizlet、Redditなどの企業や、Middlebury Instituteなどの機関の研究用のプライベートベータ版に参加してください。

自然言語で対話可能なコマンドプロンプトをPythonで実装するデモ(音声あり)

GPT-3が誤ったUnixコマンドを出力した際に
「I think you forgot the quotes.(クォートを忘れてると思うよ)」
と入力するとコマンドを修正してくるヤリトリがあるのですが驚愕しました。

よくある質問
Q1：
OpenAIが商用製品をリリースすることにしたのはなぜですか？

A1：
最終的に、私たちが最も重視するのは、様々な用途に使える汎用人工知能が全ての人々に利益をもたらす事を保証することです。商品開発は、私達が成功するために十分な資金がある事を確かめる手段の1つとみなしています。

また、世界中で強力なAIシステムを安全に展開することは、適切に行うのが難しい問題と考えています。API形式でリリースする事で、パートナーと緊密に連携して、AIシステムが現実の世界で使用された時にどのような課題が発生するかを確認しています。これは、「未来のAIシステムを世界展開する際はどのように行われるか？」、「全ての人にとって安全で有益であることを確認するために何をする必要があるか？」を理解する取り組みに役立ちます。

Q2：
OpenAIがモデルをオープンソースとして公開する代わりにAPIとしてリリースすることを選択したのはなぜですか？

A2：
主な理由は3つあります。まず、テクノロジーの製品化は、進行中の研究(AI、AIの安全性、AIに関するポリシー)費用の支払いに役立ちます。

第二に、APIの基礎となるモデルの多くは非常に大きく、開発と製品展開に多くの専門知識を必要とし、実行にも非常に費用がかかります。これにより、大企業以外は基盤となるAIテクノロジーの恩恵を受けることが難しくなります。API化により、小規模な企業や組織が強力なAIシステムにアクセスしやすくなることを期待しています。

三番目に、APIモデルにより、テクノロジの誤用に対してより簡単に対応できます。モデルがどのように使われるかは予測する事が難しいため、有害な使われ方が判明した場合にそれを止める事が出来ないオープンソースモデルとしてリリースするよりも、APIを介してリリースし、時間の経過とともに利用しやすくしていく方が本質的に安全だと感じます。

Q3：
OpenAIが以前、GPT-2リリース時にAIの悪用を懸念していた事を踏まえての質問です。OpenAIは特にAPIの誤用にどう対処しますか？

A3：
私達は、人々に身体的または精神的な危害を引き起こすようなAPIの誤用が認められた場合APIの使用を終了します。誤用には、嫌がらせ、意図的な欺瞞、過激思想、組織による世論誘導、スパムなどが含まれますがこれらに限定されません。

実際にユーザがAPIを操作する経験が増えるにつれ、これらの対象を拡張して改良出来ることが期待されます。

また、学術関連プログラムを介してサードパーティの研究者と共同で、APIが提供するモデルの潜在的な誤用の調査も行っています。

これまでのところ、私たちは個別に精査したユーザーとプライベートベータを実施してきました。これにより、誤用の可能性がさらに減り、APIの影響と制限をよりよく理解できます。

Q4：
OpenAIは、APIによって提供されるモデルが持つ有害な偏見やその他の悪影響をどのように軽減しますか？

A4：
有害な偏見(bias)などの悪影響を緩和することは、AI関連業界全体で考える必要がある非常に重要な難しい問題です。

突き詰めていくと、APIモデルは、時々偏見を含む文章(GPT-3の論文内に示されています)を出力します。APIモデルは、まだ予測されていない形で害を及ぼす可能性もあります。これらの問題に対処するために私達が取っている手順は次のとおりです。

(1)ユーザー同士で学び、実際にこれらの問題を軽減できるように、ユーザーと共に使用に関するガイドラインを作成しています。

(2)ユーザーと緊密に連携して、ユーザーの使用例を深く理解し、有害な偏見の兆候が認められるとラベル付けし、介入できるようにするツールを開発しています。

(3)私達は、公平性と表現における有害な偏見と幅広い問題について独自の調査を行っています。これは、ユーザーに私達の研究に関する知識を伝えるのに役立ちます。

時間の経過に伴う私たちの目標は、APIの潜在的な害を完全に理解し、継続的にツールとプロセスを改善して偏見の悪影響を最小限に抑えることです。