機械学習で自撮りにリアルタイムに拡張現実を適用(3/3)

１．機械学習で自撮りにリアルタイムに拡張現実を適用(3/3)まとめ

・光の反射や他の物体との重なりを意識したAR眼鏡を実現
・非常にリアルなメイクアップ(化粧)効果も輝度を意識した素材で実現
・このテクノロジーは最新のARCore SDKですぐに使用可能

２．AR眼鏡とAR化粧の実現

以下、ai.googleblog.comより「Real-Time AR Self-Expression with Machine Learning」の意訳です。元記事の投稿は2019年3月8日、Artsiom AblavatskiさんとIvan Grishchenkoさんによる投稿です。

これらの努力の結果、YouTube、ARCore、その他のクライアントで、以下のような説得力のある真に迫ったAR効果を自撮りに加える事ができます。

・環境マッピングによる光反射シミュレーションで眼鏡をリアルにレンダリング
・AR物体の影を顔メッシュに投影する事で光を自然に表現
・顔の後ろにAR物体の一部分を隠すオクルージョンモデリング。以下に示すような仮想メガネ。

YouTube Storiesには、3Dメッシュに基づいたリアルなバーチャル眼鏡のようなクリエーターエフェクトが含まれています

さらに、私たちは非常にリアルなメイクアップ(化粧)効果を次のようにして達成します。

・鏡面反射を考慮した唇のモデリング
・輝度を意識する素材を使用したフェイスペイント

異なる照明条件下の5人の被験者で実際のメイクアップ(1段目と3段目)とARによるメイクアップ(2段目と4段目)の比較

私達は、この新しい技術をクリエイター、ユーザー、そして開発者と共有することを楽しみにしています。このテクノロジーは最新のARCore SDKをダウンロードする事ですぐに使う事ができます。将来的には、この技術をより多くのGoogle製品に拡大する予定です。

ARCore version 1.7 デモ

謝辞
現行のメッシュ技術開発に関する協力について、Yury Kartynnik、Valentin Bazarevsky、Andrey Vakunov、Siargey Pisarchyk、Andrei Tkachenka、Matthias Grundmannに感謝します。パラメトリックモデルに基づくこのテクノロジの初期バージョンについては、Nick Dufour、Avneesh Sud、およびChris Breglerに感謝します。MLパイプラインを構築して印象的な効果を生み出したKanstantsin Sokal、Matsvei Zhdanovich、Gregory Karpiak、Alexil Kanaukou、Suril Shah、Buck Bourdon、Camillo Lugaresi、Siarhei Kazakou、およびIgor Kibalchichに感謝します。Aleksandra Volfと注釈チームの努力と完璧さへの献身に感謝します。モバイルGPU中心のネットワークアーキテクチャ最適化に関する慎重なベンチマークおよび洞察については、Andrei Kulik、Juhyun Lee、Raman Sarokin、Ekaterina Ignasheva、Nikolay Chirkov、およびYury Pisarchykに感謝します。