Google Research Football：新しい強化学習環境(2/2)

１．Google Research Football：新しい強化学習環境(2/2)まとめ

・Football Academyでは様々なレベルの難易度を持つ多様なシナリオのセットが提供されている
・Football Academyを使えばFootball Benchmarksに完全対応できなくとも段階的に課題をクリアできる
・Football Academyのシナリオにはゴールやパスの概念からカウンターやコーナーキックなども含まれている

２．Football Academyとは？

以下、ai.googleblog.comより「Introducing Google Research Football: A Novel Reinforcement Learning Environment」の意訳です。元記事の投稿は2019年6月7日、 Karol KurachさんとOlivier Bachemさんによる投稿です。

Football Academyと今後の方向性
Football Benchmarksのような考慮しなければいけないルールが沢山ある環境に最初から完全に対応するようにエージェントを訓練する事は簡単な事ではないので、私達はFootball Academy、様々なレベルの難易度を持つ多様なシナリオのセットを提供します。

これにより、研究者は新しい研究アイデアを模索することが可能となり、高レベルの概念(ボールのパスなど)をテストすることができます。Football Academyはエージェントを段階的に困難なシナリオから学ばせるカリキュラム型学習シナリオで、研究アイデアを調査するための基盤を提供します。

フットボールアカデミーのシナリオの例には、エージェントが無人のゴールから得点する方法を学ぶシナリオ、プレーヤー間で素早くパスする方法を学ぶシナリオ、およびカウンター攻撃を実行するシナリオなどがあります。単純なAPIを使用して、研究者はさらに独自のシナリオを定義し、それらを解決するためにエージェントをトレーニングすることができます。

一番上：目標に向かって走り(多くの対戦相手が追いかけてくるので必要に応じて)、ゴールキーパーと対峙して得点する事を学んだポリシー。二番目：華麗なカウンター攻撃を決めるポリシー。三番目：2対1の状況を解決する簡単な方法。一番下：コーナーキックから得点するエージェント

Football BenchmarksおよびFootball Academyは、エージェントが対戦相手を固定して競争する、すなわち、対戦相手を環境の一部と見なすことができるような標準的なRL設定を用いています。しかし、現実のフットボールは2つの異なるチームが競い合い、相手チームの動きと戦略に対応しなければならない対戦ゲームです。Football Engineはこの状況を研究するためのユニークな機会を提供します。そして、私達のセルフプレーを実現するための継続的な取り組みが完了したら、さらに興味深い研究環境を調査することができます。

謝辞
このプロジェクトは、チューリッヒのGoogle Researchで、Anton Raichuk、PiotrSta?czyk、Micha?Zaj?c、Lasse Espeholt、Carlos Riquelme、Damien Vincent、Marcin Michalski、Olivier Bousquet、Sylvain Gellyと共に行われました。また、Lucas Beyer氏、Nal Kalchbrenner氏、Tim Salimans氏、そしてその他のGoogle Brainチームにも有益な議論、コメント、技術的な支援、そしてコードの貢献を感謝します。最後に、このゲームのオリジナル版を書いてオープンソースにしてくれたBastiaan Konings Schuilingに感謝します。