KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(1/2)

１．KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(1/2)まとめ

・機械学習の産業界向けアプリケーションは一般にデータの形式や特徴分布が異なる様々な項目で構成される事が多い
・異種混合グラフは複数種のノードとエッジを定義することによりこれらの多様な情報が混合したシステムを扱おうとる
・しかし異種混合グラフニューラルネットワークはラベルが偏る問題に直面するので広く利用する事が難しい問題がある

２．異種混合グラフにおけるラベル分布偏り問題

以下、ai.googleblog.comより「Teaching old labels new tricks in heterogeneous graphs」の意訳です。元記事の投稿は2023年3月1日、Minji YoonさんとBryan Perozziさんによる投稿です

アイキャッチ画像はヘテロジニアスな、異種混合とグラフを意識したアイキャッチ画像を作りたいんですよね、とchatGPT先生に相談して作成したプロンプトを元にカスタムStable Diffusion先生に作って貰ったイラスト。確かに微妙に異種混合な感じの雰囲気が出ているような気がしますが、プラシーボ効果のような気もしてまだよくわかりません。

機械学習の産業界向けアプリケーションは、一般に、データの形式や特徴分布が異なる様々な項目で構成されています。

異種混合グラフ(HG:Heterogeneous Graph)では、複数の種類のノード(データ種別)とエッジ（データ項目間の関係）を定義することにより、これらのマルチモーダルデータシステムを統一的に見ることができます。例えば、電子商取引ネットワークは「ユーザー、商品、レビュー」ノード、動画プラットフォームは「チャンネル、ユーザー、動画、コメント」ノードを持っているかもしれません。

異種グラフニューラルネットワーク(HGNN:Heterogeneous graph neural networks)は、各ノードの関係をベクトルにまとめたノードembeddingsを学習します。しかし、現実のHGNNでは、異なるノードタイプ間でラベルのアンバランスの問題がしばしば発生します。つまり、ラベルが少ないノードタイプはHGNNを利用することができず、HGNNの広範な応用を妨げているのです。

NeurIPS 2022で発表された「Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks」では、知識転移ネットワーク(KTN:Knowledge Transfer Network)というモデルを提案し、HGに与えられた豊富な関係情報を用いて、ラベルが豊富なノードタイプからラベルが0のノードタイプへ知識を転移します。私たちは、HGNNモデルを微調整せずとも事前学習させる方法を説明します。KTNはゼロショット学習タスクにおいて、最先端の転移学習手法を最大140%上回る性能を発揮し、これらのタスクにおいて多くの既存のHGNNモデルを24%(あるいはそれ以上)改善するために使用することができます。

KTNは、グラフを通してある種類の情報(四角)を別の種類の情報(星)にラベルを変換します。

異種混合グラフとは何ですか？

様々な種類のノードとエッジから構成されるグラフのことです。

下図は、電子商取引のネットワークを異種混合グラフ(HG:Heterogeneous Graph)として表現したものです。電子商取引では、「ユーザー」が「商品」を購入し、「レビュー」を書きます。HGは、このエコシステムを3つのノードタイプ「ユーザー、製品、レビュー」と3つのエッジタイプ「ユーザー-購入-製品」、「ユーザー-書き込み-レビュー」、「製品-の-レビュ」を使って表現します。

そして、個々の製品、ユーザー、レビューはノードとして、それらの関係はエッジとして、対応するノードタイプとエッジタイプを持つHGで示されます。

電子商取引の異種混合グラフ

すべての接続情報に加えて、HGには各ノードの情報を要約した入力ノード属性(Input node attributes)が一般的に与えられています。入力ノード属性は、異なるノードタイプ間で異なる入力情報を持つことができます。例えば、製品の画像は製品ノードの入力ノード属性として与えられ、文章はレビューノードの入力属性として与えられる可能性があります。

ノード・ラベルは、各ノードで予測したいものです(例えば、各商品のカテゴリや各ユーザーが最も興味を持つカテゴリなど)。

HGNNとラベルの希少性問題

HGNNは、各ノードの局所構造(ノードとその近傍の情報を含む)を要約したノードembeddingsを計算します。これらのノードembeddingsは、各ノードのラベルを予測するための分類器によって利用されます。特定のノードタイプのラベルを予測するHGNNモデルと分類器を訓練するためには、そのタイプのラベルが大量に必要です。

ディープラーニングの産業界向けアプリケーションにおける共通の課題はラベルの不足です。多様なノードタイプに対応するHGNNは、この課題により多く直面する可能性が高いです。

例えば、公開されているコンテンツノードのタイプ(製品ノードなど)は豊富にラベルが貼られていますが、ユーザーやアカウントノードのラベルはプライバシー制限のため利用できない場合があります。

つまり、ほとんどの標準的な学習設定において、HGNNモデルはラベルが豊富な少数のノードタイプに対してのみ適切な推論を行うことを学習でき、残りのノードタイプに対しては(それらに対するラベルがないため)通常推論を行うことができません。

異種グラフにおける転移学習

ゼロショット転移学習は、ラベルのない対象領域で、ラベルが十分に付与された別の関連領域からモデルが学習した知識を用いて、モデルの性能を向上させる手法です。

HGのある種のノードタイプについて、ラベル不足の問題を解決するために転移学習を適用する場合、転移先の領域はラベルのないノードタイプになります。

では、転移元となる領域はどこでしょう？

これまでの研究では、異なるHGにある同じ種類のノードを元領域とし、それらのノードは豊富にラベルが貼られていると仮定するのが一般的ですい。このグラフ間転移学習アプローチは、外部HGでHGNNモデルを事前に訓練し、その後、元の(ラベルの少ない)HGでそのモデルを実行します。しかし、これらのアプローチは、3つの理由から、多くの実世界のシナリオに適用することはできません。

第一に、グラフ間転移学習で使用できる外部のHGは、ほぼ間違いなく独占的なものであり、したがって、入手できない可能性が高いです。

第二に、たとえ外部のHGが利用可能できたとしても、そのHGの分布が、転移学習を適用するのに十分なほど、ターゲットHGと一致するとは考えにくいです。

最後に、ラベルの希少性に悩むノードタイプは、他のHGでも同じ種類の問題に悩まされる可能性が高いです。(例えば、ユーザノードのプライバシー問題など)