AIを悪用した偽情報の拡散にどのように備えるか？(1/2)

１．AIを悪用した偽情報の拡散にどのように備えるか？(1/2)まとめ

・chatGPTで有名なopenaiが主導して大規模言語モデルが情報操作の悪用に使われる可能性について調査
・言語モデルが影響力行使に大規模に使用される前に取るべき手順を概説することが重要であると考えている
・言語モデルを利用したテクノロジーの普及は行為者、行動、内容の全てに影響を与える可能性がある

２．言語モデルの誤用とリスク軽減案に関する報告書

以下、openai.comより「Forecasting Potential Misuses of Language Models for Disinformation Campaigns—and How to Reduce Risk」の意訳です。元記事の投稿は2023年1月11日、Josh A. Goldsteinさん、Girish Sastryさん、Micah Musserさん、Renée DiRestaさん、Matthew Gentzelさん、Katerina Sedovaさんによる投稿です。

OpenAIは直近ですと、Google検索を代替する可能性があるかもしれないと言われるChatGPT、イラスト生成AIの先駆けとなったDALL·E 2など様々な人工知能を発表して話題になっている企業ですが、古くはGPT-2時代から世の中にAIが与える負の影響については慎重な姿勢を見せて防止策の必要性を世に訴えています。

問題となりそうなAIを一般公開しないというアプローチを取ると確実には思えますが、そうなると私を含めた利用してみたい層は切り捨てられて、国や大企業がひそかに使う技術となってしまうでしょう。

DALL·E 2も、当初は非常に限定的なクローズドベータで一部の人しか利用権限がありませんでした。Stable Diffusionがオープンソース化してくれた事で初めてイラスト生成AIは広く利用可能な技術となりましたが、功罪ありますね。Stable DiffusionとMidjourneyに対してアメリカで集団訴訟が起こされたそうですが、オープンにする事のリスクがオープンにする事のメリットより高い世の中になると皆、隠すようになってしまうだろうなぁ、と思っています。

アイキャッチ画像はstable diffusionに色々混ぜたモデルに描いて貰ったナウシカに改めてテトembeddingしたイラスト。背景で誤った情報が拡散していく様を表現しました。

OpenAIの研究者は、ジョージタウン大学のCenter for Security and Emerging TechnologyおよびStanford Internet Observatoryと共同で、大規模な言語モデルが情報操作のためにどのように悪用される可能性があるかを調査しました。この共同研究では、2021年10月に情報操作の研究者、機械学習の専門家、政策アナリスト30名を集めたワークショップを開催し、1年以上にわたる研究を基にした共著の報告書を完成させました。本報告書では、言語モデルが偽情報キャンペーンを強化するために使用された場合に情報環境にもたらす脅威を概説し、潜在的な緩和策を分析するためのフレームワークを紹介しています。レポートの全文はarxiv.orgでご覧ください。

生成言語モデルの改良に伴い、医療、法律、教育、科学など多様な分野で新たな可能性が生まれています。しかし、どんな新しい技術でもそうですが、どのように悪用される可能性があるのかを考えておくことは価値があります。本稿では、オンライン上で繰り返される影響力行使(目標となる聴衆の意見に影響を与えるための秘密裏の努力や欺瞞的な努力)を背景に、次のように問いかけます。

言語モデルはどのように影響力の行使を変化させるのでしょうか？またこの脅威を軽減するためにどのような手段を講じることができるのでしょうか？

この研究では、オンライン偽情報キャンペーンの戦術、技術、手順を熟知した研究者と、生成型人工知能分野の機械学習専門家という異なるバックグラウンドと専門知識を結集し、両領域のトレンドに基づいた分析を行いました。

私たちは、AIを活用した影響力行使の脅威を分析し、言語モデルが影響力行使に大規模に使用される前に取るべき手順を概説することが重要であると考えています。私たちの研究が、AIや偽情報の分野を初めて担当する政策立案者に情報を提供し、AI開発者、政策立案者、偽情報研究者のための緩和策の可能性に関する詳細な研究に拍車をかけることを期待しています。

AIはどのように影響力を行使しうるのでしょうか？

研究者が影響力のある活動を評価する際、(1)行為者(actors)、(2)行動(behaviors)、(3)内容(content)について検討します。言語モデルを利用したテクノロジーの普及は、この3つの側面すべてに影響を与える可能性があります。

(1)行為者
言語モデルによって、影響力の行使にかかるコストが削減され、新たな行為者や新しいタイプの行為者が影響力を行使できるようになる可能性があります。同様に、自動で文章を生成できるようになった宣伝者(propagandists)は、新たな競争上の優位性を獲得する可能性があります。

(2)行動
言語モデルを使用した影響力の行使操作は、規模の拡大が容易になり、現在高価な戦術(個々人に合わせてコンテンツを生成する事など)が安価になる可能性があります。また、チャットボットでリアルタイムにコンテンツを生成する事など、言語モデルによって新たな戦術が生まれる可能性もあります。

(3)内容
言語モデルによる文章作成ツールはより説得力とインパクトを持つメッセージを生成する可能性があります。特に宣伝担当者がターゲットに関する必要な言語的・文化的知識を持たないケースと比較すると可能性が高いです。また、コピー＆ペーストなどの手間をかけずに新しいコンテンツを繰り返し作成できるため、影響力行使が発見されにくくなる可能性もあります。

私たちの結論は、言語モデルは宣伝担当者にとって有益であり、オンライン上での影響力行使を一変させる可能性が高いということです。たとえ最先端の言語モデルが非公開であったり、アプリケーション・プログラミング・インターフェース(API:Application Programming Interface)アクセスによって制御されていたとしても、宣伝担当者はオープンソースの代替品に引き寄せられ、国家は自らその技術に投資する可能性があります。