RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(2/2)

１．RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(2/2)まとめ

・シミュレーションの並行実行は簡単ではないためTFのAutoGraphなど最適化の利用が重要
・RecSim NGにより複雑なマルチエージェントの相互作用とインセンティブを捕捉可能
・これにより推薦システムの新しいアルゴリズムの開発、トレーニング、評価が容易になる

２．RecSim NGのモデリング

以下、ai.googleblog.comより「Flexible, Scalable, Differentiable Simulation of Recommender Systems with RecSim NG」の意訳です。元記事の投稿は2021年4月29日、Martin MladenovさんとChih-wei Hsuさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Florian Schmetz on Unsplash

アプリケーションとしてのエコシステムのモデリング
RecSim NGの機能を実証するために、定型化された推薦エコシステムにおけるユーザーとコンテンツプロバイダー間のヤリトリを非常に単純化したモデル(このモデルは、このICML-20の論文で提示されているモデルのはるかに単純なバージョンです)を提示します。

シミュレーションでは、推薦システムの動きを捉えます。推薦システムは、時間の経過と共にユーザに候補を推薦する事で、ユーザーとコンテンツプロバイダー間の相互作用をあっせんします。

簡略化されたユーザーモデルを採用し、各ユーザーは静的で観察可能な「ユーザー関心ベクトル」によって特徴付けられます。このベクトルは、推薦アイテムとユーザーの相性を決定します。これは、推薦候補からのユーザーがアイテムを選択する際の選択モデルへの入力として使用されます。選択したアイテムに対するユーザーの効用は、アイテムに対するユーザーの相性です。ガウスノイズを加えて微妙に変化させています。

推薦システムの目的は、一定の期間にわたって、全てのユーザーにわたって累積的なユーザーにとっての実用性を最大化することです。ただし、興味深いエコシステムに発生する現象により、これは困難になります。この現象は、コンテンツプロバイダーの動作が原因で発生します。

ユーザーと同様に、各コンテンツプロバイダーには、提供するコンテンツアイテムを中心とする「関心ベクトル」があります。このベクトルは、そのプロバイダーの一般的な専門知識または傾向を反映しています。

プロバイダーには、彼等のコンテンツを利用可能にするための独自のインセンティブがあります。インセンティブは、直近に任意のユーザーによって選択されたアイテムの数によって測定されます。

更に、より高い実用性を持つプロバイダーは、より多くのアイテムを生成または利用可能にし、ユーザー(および推薦システム)が選択できる「カタログ」への掲載を増やします。

上記の設定で、2つの異なる推薦ポリシーを比較します。1つ目は、標準の「近視眼的(myopic)」ポリシーであり、どのユーザーに対しても、そのユーザーに対して予測される相性が最も高いアイテムを常に推奨します。このようなポリシーの下では、「rich get richer(金持ちはより金持ちに)」現象が起きる可能性があります。

つまり、最初にユーザーを引き付ける事に成功したプロバイダーは、その後の期間でもより多くのアイテムを生成し、さらに将来の関心を引き付ける可能性を高めます。「主流(mainstream)」のコンテンツプロバイダーの周辺に推薦されるアイテムが徐々に集中することは、時間の経過とともにユーザーの実用性にとって全体的な悪影響を及ぼします。

2番目の推薦ポリシーは、これらのプロバイダーの動きを認識しており、サービスが不十分なプロバイダーを押し上げる事でこれに対抗します。単純な経験側でありながら、プロバイダー対応ポリシーは、拡張された範囲にわたって全体的なユーザーの実用性を向上させます。

シミュレーション内のエージェントの数は多いため、RecSim NGが提供する再利用可能なモデリングブロックを使用してユーザーとコンテンツプロバイダーの両方をテンプレート化します。シミュレーションをどのように並行して実行するかを決定することは簡単ではないため、TFのAutoGraphおよびその他の計算上の最適化を利用することが重要です。

結論
RecSim NGにより、機械学習の研究者と実践者の両方が、推薦システムの新しいアルゴリズム、特に拡張された範囲でシステムの動作を最適化すること、複雑なマルチエージェントの相互作用とインセンティブを捕捉すること、またはその両方を目的としたアルゴリズムの開発、トレーニング、評価が容易になることを願っています。また、研究コミュニティのベンチマークとして使用できる、更に現実的なユーザーモデルのリリースや、RecSim NGを使用した「sim2real」転移を容易にする方法についても調査しています。

RecSim NGフレームワークの詳細については、関連するホワイトペーパーを参照してください。コードとColab/チュートリアルは、githubから入手できます。 RecSys-2020で発表されたRecSimNGに関するビデオを以下に示します。

謝辞
RecSim NGチームの他のメンバーを含め、RᴇᴄSɪᴍNGの協力者と早期採用者に感謝します。Vihan Jain, Eugene Ie, Chris Colby, Nicolas Mayoraz, Hubert Pham, Dustin Tran, Ivan Vendrov そして Craig Boutilier