rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)

１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)まとめ

・建物の再構築に使用できる歴史的画像は1つしかない事が多く三次元再構成は非常に困難
・粗い三次元構造を生成した後に窓や階段などの個々の構成部品を再構成して組み合わせる
・RCNNとDeepLabと特別に設計されたニューラルネットワークを使ってこれを実現した

２．rǝの構成

以下、ai.googleblog.comより「Recreating Historical Streetscapes Using Deep Learning and Crowdsourcing」の意訳です。元記事の投稿は2020年10月15日、Raimondas Kiverisさんによる投稿です。

アイキャッチ画像は1908年に撮影された明治時代の日本の町並みをAIを使って着色したものでクレジットはアメリカ人写真家Arnold Gentheさん。

三次元体験
三次元モデルモジュールは、関連する画像と地図データを使用して、歴史的建造物の詳細で完全な3D構造を再構築し、これらの三次元モデルを一か所で適切に管理し、時間軸を使用して歴史的地図にレンダリングする事を目的としています。

多くの場合、建物の再構築に使用できる歴史的画像は1つしかないため、三次元再構成は非常に困難な問題になります。この課題に取り組むために、「粗いものから細かいもの(coarse-to-fine)、認識による再構築(reconstruction-by-recognition)アルゴリズム」を開発しました。

rǝの三次元再構成パイプラインの概要
注釈付きの画像と地図を取得し、3Dレンダリング用に準備します。

歴史的画像の建物正面部と接地部(どちらもクラウドソーシングによって注釈が付けられるか、自動アルゴリズムによって検出されます)から作業を開始し、建物の接地部が上空に押し出され、粗い三次元構造が生成されます。この押し出しの高さは、地図データベース内の対応するメタデータに記録されている階高により設定されます。

並行して、各建物の正面部は1つの詳細な三次元構造物ではなく、三次元再構成処理によって個々の構成部品(窓、入り口、階段など)に分離して認識されます。そして、各カテゴリに基づいて三次元構造が個別に再構築されます。

次に、これらの詳細な三次元構造が、最終的な網目上の粗い三次元構造と併合されます。最終的な結果は3D保管庫に保存され、三次元レンダリングの準備が整います。

この機能を強化する主要なテクノロジーは、最先端のディープラーニングモデルです。

(1)より高速な領域ベースの畳み込みニューラルネットワーク(RCNN:Region-Based Convolutional Neural Networks)は、対象となる建物前面部分(窓、入口、階段など)に付与されたラベルを使用してトレーニングされました。これは、歴史的画像内で境界ボックスレベルで実体の場所を特定するために使用されます。

(2)DeepLabは境界ボックスレベルで特定された実体に画素レベルで境界がわかるようなラベルを提供するようにトレーニングされました。

(3)特別に設計されたニューラルネットワークは、同じ種類の実体であれば規則性が適用されるようにトレーニングされました。これにより、建物前面部に再構築された窓は等間隔に配置され、形状が互いに一貫していることが保証されます。また、階段などでも構成の一貫性が促進され、適切な位置に配置され、階段の登り口に対して一貫した寸法になる事も確保されます。

主な結果

マンハッタンのチェルシーを三次元再構築した街路レベルの眺め

結論
rǝは、仮想都市を再構成する際に主な課題となる、歴史的データが十分にない、という問題をクラウドソーシングを利用して容易に取り組む事ができるツールです。

三次元体験はまだ進行中の作業であり、将来のアップデートで改善することを目指しています。

rǝが、歴史的データセットとオープンソースコードの活用だけでなく、愛好家やカジュアルユーザーの活発なコミュニティのつながりとして両方に積極的に貢献する事を願っています。

謝辞
この取り組みは、多くの人々の努力のおかげで成功しました。以下の人々を含みますが、以下に限定されません。(姓のアルファベット順)Yale Cong, Feng Han, Amol Kapoor, Raimondas Kiveris, Brandon Mayer, Mark Phillips, Sasan Tavakkol, and Tim Waters (Waters Geospatial Ltd).