GoogleのAI研究チームの2017年成果２クリエイティブ編（ピアノ、ラクガキ、作曲）

１．GoogleのAI研究チームの2017年成果２クリエイティブ編（ピアノ、ラクガキ、作曲）まとめ

・人工知能が一緒にピアノを弾いてくれるピアノデュエットツールの発表
・人工知能がラクガキを補完してくれるお絵かきツールの発表
・２０１６年に続き人工知能作曲デモで優秀賞受賞

２．人工知能によるピアノデュエット

デモを試してみたが、同時にデュエットではなくフレーズ毎に合わせてくれる感じなのかイマイチ、デュエット感を感じなかった。とは言ってもマウスでピアノの鍵盤を叩くのはかなり困難で私はかえるの歌くらいしか引けないのだけど。

カ・エ・ル・の・う・た・が
ピアノデュエットが少し遅れて合わせて弾いてくれる

き・こ・え・て・く・る・よ
ピアノデュエットが少し遅れて合わせて弾いてくれる

グワェ、グワェ、グワェ、グワェ、
ピアノデュエットが同時に伴奏してくれる

ゲゲゲゲゲゲゲゲ、クワッ、クワッ、クワッ
ピアノデュエットが同時に伴奏してくれる

うーん、奏者の腕のせいか微妙な気持ちになってしまった。

３．ラクガキを書く人工知能

既存の画像から新しい画像を作りだす研究はGANなど沢山発表されているけれども、これらは既存画像から構成要素を抜き出すので目が３つある猫など、悪夢のような画像になりがち。

人工知能が作った悪夢のような画像（やや閲覧注意）

sketch rnnは「画像データから新しい画像を作成する」のではなく、「人がどうやって絵を描くのか？」に注目して学習させる。つまり筆の運び方など「人間のスケッチの書き方」を学ぶのであり「人間の書いた絵」を学ぶわけではない。

その結果、仮に目が３つある猫をインプットとして与えても、人間は猫を書くときに目を３つ書かないので目が２つある猫に書き直してくる。足が８本ある豚を与えても４本に書き直してくる。

私もsketch rnnのデモでAngelを指定して背中に翼っぽいものがある人型の絵を書いたら人工知能が頭部に輪っかを書き加えてきて、あぁ、確かに天使は頭部に輪っかがあるよね、これはスゴイと感心した。

様々なソフトに使えるポテンシャルがある。
・１つの入力画像から微妙に違った複数のオリジナル画像作成する事ができる
・抽象的なスケッチを与えるだけでそれっぽいオリジナル画像を考案してくれる
・書きかけの絵を与えるとそれを補完して仕立ててくれる
見た目がラクガキなのでしょぼくみえてしまうけど、これはこれで本当に凄い！

４．人工知能による作曲

GoogleBrainの人工知能による作曲は、NIPS（Conference on Neural Information Processing Systems）、つまり、権威ある人工知能関連カンファレンスで二年連続でBest Demo Awardを獲得。

２０１６年「Interactive musical improvisation with Magenta」
２０１７年「Magenta and deeplearn.js: Real-time Control of DeepGenerative Music Models in the Browser」

Magentaはtensorflowで提供されているライブラリ。音楽とか画像とか色々なものをディープラーニングと強化学習を使って作り出す試みで、既存の音楽を学習させて新しい音楽を作り出す等が比較的簡単にできる。

下記が人工知能が作った音楽の一部