１．人工知能を使って歴史的な写真や絵画を立体化まとめ
・CVPR 2020で発表されたモデルを使うと古い写真や絵画を動画化してグリグリ動かせる
・ややぼやけてしまっているような歴史上の有名な写真も３D化できる
・もちろん、Stable diffusionで生成したイラストも３D化して動かす事が可能
２．3d-photo-inpaintingとは？
Stable diffusionで生成したイラストに動きを与える手法を探していたところ、CVPR 2020で発表されたモデルを使うととても良い感じにグリグリ動かせる事がわかり、色々と試してみたところ、歴史上の人物や絵画も良い感じに再生出来る事を知ったので以下でご紹介。
１．歴史上の人物
以下、国立国会図書館の電子展示会「近代日本人の肖像」より画像をお借りしております。
坂本竜馬。ちょっとおでこが突出しちゃいますが、実際、こんな感じの人だったのだろうな、とご存命の時のイメージが具体化して親近感沸きますね。
号は南洲、西郷隆盛。凄い重量感のある立体化ですね。
昨年の大河ドラマ「青天を衝け」の主人公であった日本資本主義の父と言われる渋沢栄一。新一万円札に採用される事も決まっているそうで迫力ありますね。
芥川龍之介。のっぺりとした写真は大きく動かすとぶれて違和感が出てしまうため徐々に迫るズーム効果です。
与謝野晶子。こちらも徐々に迫るズーム効果です。
新選組副長の土方歳三。この写真は枠があるので難しいかな、と思ったのですがズーム効果は出てますね。
２．軍艦など
こちらの画像はjapanese-warship.comさんよりお借りしました。奥行推定が難しそうな写真でも波部分などがかなりリアルに動かす事ができまてます。
ドッグの戦艦大和
大海原の戦艦大和
奇跡の駆逐艦として有名な雪風
３．名画
こちらはwikipediaより。ルーベンスの技法は時代を感じさせないですね。無理かなと思ったのですが、元々が凄い立体感を感じさせる絵なので３D化すると更に真に迫った絵になりました。
キリスト昇架。わっしょい、わっしょい、と皆さん頑張ってイエス・キリストを十字架にはりつけてる場面です。
キリスト降架。こちらはわっしょい、わっしょい、と皆さん頑張ってイエス・キリストを十字架から降ろしている場面です。この２つの絵画が「フランダースの犬」のラストでネロがどうしても見たかったルーベンスの絵ですね。動かすと大分、雰囲気変ってしまっていますが、実際、こんな感じで上げ下げしたのだろうな、と真に迫った感じがありますね。ネロが見たかったのは動きがない静止画の方だろうな、とは思いますが。
４．解像度の高い現代の写真
こちらはPixabayとmodel.fotoよりフリー素材をお借りしております。最近の写真は綺麗ですが、背景がはっきりすぎると歪みが目立ってやや違和感がでてしまいますね。
モデル：涌井 よう/ヘアメイク：天羽 由貴子
馬。一番飛び出て見える画像かもです。
クレジットはmehedihasan2189
猫。扉も一緒に動いてしまうのでやや違和感がありますね。
クレジットはmolnarszabolcs91
５．Stable diffusionの生成イラスト
予想以上に奥行情報の推定が出来ており、かなり違和感なく動かせて感動です。
3d-photo-inpaintingはgithub上でオープンソースとしてColabも公開されていますので下部にリンクを張っておきます。私がローカルで動かした際は、ライブラリの依存関係に少し苦戦しましたが、興味がある方は動かしてみると面白いと思います。
３．人工知能を使って歴史的な写真や絵画を立体化関連リンク
１）github.com
vt-vl-lab / 3d-photo-inpainting
