ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(2/2)

１．ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(2/2)まとめ

・Wikipedia Biographiesによって機械翻訳の性別バイアス削減度合を評価する事が可能になった
・文脈を意識するモデル(context-aware models)のエラーは以前のモデルと比較して67%減少
・性別中立な実体を指すために女性または男性の代名詞を使用するケースの発見が可能になった

２．Wikipedia Biographiesを使った改善

以下、ai.googleblog.comより「A Dataset for Studying Gender Bias in Translation」の意訳です。元記事の投稿は2021年6月24日、Romina Stellaさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by peter bucks on Unsplash

性別は(性別を固定しない立場をとる人々もいるために)非二元的ですが、私たちは「女性的(feminine)」と「男性的(masculine)」な存在を平等に表現することに焦点を合わせました。データ取得元であるウィキペディアでは性別がそのように扱われているためであり、これは言及する価値があります。

残念ながら、ウィキペディアでは現在、非二元的コミュニティを正確に反映するのに十分な実例がありません。各インスタンスに「女性」または「男性」のラベルを付けるために、ウィキペディアの経歴情報に依存しました。この情報には、その人物(彼女、彼、女性、息子、父親など)への性別固有の参照が含まれていました。

これらすべてのフィルターを適用した後、occupation-region-genderトリプレットごとに実例をランダムに選択しました。職業ごとに、7つの地理的地域のそれぞれに2つの伝記(1つは男性的でもう1つは女性的)を選択しています。

最後に、性別のない12の実例を追加しました。ロックバンドとスポーツチームを選んだのは、それらが通常、性別のない第三者の代名詞(「それ(it)」や「それら(they)」など)によって参照されるためです。これらの実例を含める目的は、トリガーについて調査することです。つまり、モデルが性別固有の代名詞を生成することで報酬が得られることを学習し、そうでない場合にこれらの代名詞を生成するように導きます。

結果と応用

このデータセットにより、機械翻訳における性別バイアスの削減を評価する新しい手法(以前の投稿で紹介されています)が可能になりました。

各実例は既知の性別固有の主語を参照しているため、この主語を参照する性別固有の翻訳の精度を計算する事ができます。この精度計算は主に英語の性別固有の代名詞に基づいているため、(主語の省略または性別不明代名詞のある言語の場合は)英語に翻訳すると簡単です。

上記の場合、性別データセットにより、「文脈を意識するモデル(context-aware models)」のエラーは以前のモデルと比較して67%減少しました。上で述べたように、性別中立な実体が「ジェンダーレスの実体を指すために女性または男性の代名詞を使用する」などの、過剰なトリガーケースを発見することを可能にしました。この新しいデータセットにより、職種や地理的地域の種類を超えたさまざまなモデルのパフォーマンスに関する新しい研究の方向性も可能になります。

例として、データセットにより、スペイン語からのMarie Curieの伝記の翻訳の抜粋で以下の改善を発見することができました。

従来のNMTモデルを使った翻訳結果

新しい文脈を意識するモデルによる翻訳結果

結論

この翻訳されたウィキペディアの伝記データセットは、私たち自身の研究の結果であり、性別と機械翻訳に関連するバイアスの特定に取り組んでいます。

このセットは、ジェンダーバイアスに関連する特定の問題に焦点を当てており、問題全体を網羅することを目的としていません。私達がこのデータセットをリリースすることにより、ジェンダーバイアスに対処するための最適なアプローチを決定する際の規範を示すことを目的としていないことは言及する価値があります。この貢献は、グローバルな研究コミュニティ全体でこの課題の進展を促進することを目的としています。