ホロデッキを構築する技術

最近、ドイツにいる高齢の母を訪ねたとき、彼女が20年以上家と呼んできた居心地の良い小さな家で母に会えるのは、これが最後になるかもしれないと気づきました。そこで私は、誰でもするようなことをしました。携帯電話を壊して、できるだけ多くの思い出を保存するために、その場所の写真をたくさん撮りました。暖かい暖炉。おなじみの本がいっぱいの本棚。何年も前の特別な誕生日のお祝いの際に全員が署名した、正面にあるガタガタの古い庭のベンチ。

それから、別のことを試してみました。私は心を開きました スキャニバースの 3D スキャナー アプリ ポケモンGO それらのいくつかを 3D オブジェクトとしてキャプチャし、しゃがんだりつま先立ちでそれらの周りを歩きながら、ゆっくりと携帯電話を動かし、あらゆる角度とインチを記録しました。結果は端の部分が少し不完全でしたが、それでも奥深いと感じました。後で携帯電話と VR ヘッドセットの両方でスキャンを開いたところ、まるでその前に立っているかのように、風化した庭のベンチをあらゆる角度から見ることができました。その経験は、私が準備できていなかった方法で私の感情を揺さぶりました。

この体験は、2 年も前に発明され、すでにテクノロジー業界を席巻している新しい 3D キャプチャ方法であるガウス スプラッティングのおかげで可能になりました。 Niantic と Google は両方とも、それぞれの地図製品を構築するためにこれを使用しています。 Snap は、Lens Studio 開発者プラットフォームにスプラット (ガウス スプラッティングでキャプチャされたオブジェクトを口語的に呼んでいます) のサポートを追加しました。また、Meta は、ガウス スプラッティングを使用して、現実世界とまったく同じように見えるメタバースを作成したいと考えています。

テクノロジー企業は、3 次元オブジェクトをフォトリアリスティックにキャプチャし、デジタルで再作成できるガウス スプラッティングに夢中になっています。これにより、すぐに誰でも部屋全体をスキャンできるようになり、ハリウッドやその他のクリエイターによる 3D ビデオの録画方法が変わる可能性があります。生成 AI と組み合わせると、既存の空間を保存するだけでなく、私たちをまったく新しい 3D 世界に連れて行ってくれる可能性があります。

「これは大きなゲームチェンジャーだ」とAR/VRの専門家で投資家のティパタット・チェナヴァシン氏は語った。の共同創設者およびゼネラルパートナーとして ベンチャー・リアリティ・ファンドチェナヴァシンはこの技術の成功に経済的関心を持っています。オタクで元 3D アーティストとして、彼はこの作品に夢中になり、それを次のように例えています。 スタートレック ホロデッキにより、乗組員は現実空間と架空空間のホログラフィック 3D シミュレーションに入ることができます。 「私たちはフォトリアルなホロデッキに近づき始めています。」

スマートフォン上であっても、オブジェクトを 3D でキャプチャすることは新しいことではありません。ただし、これまでの取り組みのほとんどは、モバイル AR アプリを使用したことがある方なら目にしたことがある、サイバーパンク風の三角形のメッシュであるポリゴンに依存していました。

ポリゴン メッシュ ベースの 3D キャプチャと再構築は、平らな表面を持つ基本的なオブジェクトには十分ですが、詳細なテクスチャや複雑な照明では困難になる可能性があります。この方法でキャプチャされたオブジェクトは、プラスチックのように非現実的に見えることが多く、3D キャプチャされた人間は、髪の毛の一本一本よりもむしろ、ジェルを使いすぎているように見えます。 「当時は有望だったが、常に大きな限界があった」とチェナヴァシン氏は語った。

2023 年の夏、ヨーロッパの科学者グループが「3D ガウス スプラッティング」と呼ぶものに関する論文を発表したとき、状況はすべて変わりました。この問題に対する彼らのアプローチは、メッシュを廃止し、代わりに 3D オブジェクトを、ガウス分布とも呼ばれる曖昧な半透明の塊の集合としてキャプチャすることでした。

これらのブロブのそれぞれは、その色、位置、スケール、回転、透明度のレベルに関する正確な情報とともにキャプチャされます。そして、それらを何百万も組み合わせると、3D オブジェクトのより詳細な画像が得られ、それがどのように見えるかについても詳しく知ることができます。この追加データのおかげで、あらゆる角度から撮影できます。機械学習を使用することで、オブジェクトをより詳細に、より高い忠実度でキャプチャし、重いグラフィック レンダリング リグを必要とせずにリアルタイムでレンダリングできるようになりました。

この分野の専門家は、この結果にすぐに驚きました。 「ついに、フォトリアルな真の 3D を実現する機会が得られました」と Chennavasin 氏は言いました。 「空間コンピューティングにとって JPEG の時代が来ています。」

Niantic エンジニアリング担当上級副社長のブライアン・マクレンドン氏は、ガウス スプラットは 3D グラフィックスの分野における 30 年以上の中で最も大きな進歩であると信じています。 「私たちはこれを根本的な変化だと考えています」と彼は語った。

マクレンドン氏によると、ガウス スプラッティングは 3D キャプチャを民主化するものであり、Niantic はこの変化の最前線に立ちたいと考えています。 Scaniverse アプリを入手した後 2021年にNiantic はガウス スプラッティングをキャプチャ テクノロジとして追加しました 去年。 8月に発売したのは、 新しいバージョン スプラッターを前面に押し出したScaniverseの。同社は10月に、 オープンソースの スプラット用の独自のファイル形式。そして 12 月には、Scaniverse が VR に拡張され、ユーザーがガウス スプラットを観察できるようになりました。 Meta の Quest ヘッドセットで。

Niantic がスプラッティングを推進するのには独自の理由があります。 Scaniverse は、個人の思い出の品やその他の個人的なオブジェクトをキャプチャするアプリとして始まりましたが、Niantic は現在、彫像、噴水、その他の公共の名所もスキャンするよう人々に奨励しています。同社は、これらのスキャンを、 構築中の世界の 3D マップ — 力を与えるのと同じマップ ポケモンGO、 ペリドットそして将来の地理空間 AR ゲームと体験。 「私たちは地図と屋外のスキャンと再構築に非常に集中しています」とマクレンドン氏は語った。

「私たちはすでに何十万ものこれらを持っています [types of scans] 今はスカンリバースにいるよ」とマクレンドン氏は語った。 「もうすぐ100万人に到達するといいですね。」

ガウス スプラットは、静的なコンテンツをキャプチャするためだけのものではありません。コンピュータービジョンのスタートアップ グレースAI は、このテクノロジーを使用してボリュメトリック 3D ビデオを録画し、Meta Quest ヘッドセットで視聴できます。それらのクリップの 1 つ シェフを見せる 視聴者は、VR であらゆる角度からその動作を観察したり、ズームインして、輝く生のサーモンをナイフで切り分ける様子を観察したりできます。

グラシアさんはプロの 3D キャプチャ スタジオで、シェフにあらゆる角度から向けられた 40 台のカメラを使用して、このビデオを録画しました。これが専門家が何年もの間、AR や VR 体験用のホログラフィック コンテンツを記録してきた方法です。しかし、ここでもまた、ポリゴンからガウス スプラットへの移行がすべての違いを生みます。

以前は、3D ビデオ キャプチャでは一連の視覚的な課題が発生し、撮影された個人には厳格な服装規定が課せられていました。つまり、奇妙なアーティファクトを引き起こす可能性のある、複雑なパターン、半透明のもの、緩んでぶら下がっているものは禁止されていました。数年前、Microsoft がこの方法で David Attenborough を捕らえたとき、 襟をシャツに接着する必要さえあった そして文字通り、キャプチャプロセスを台無しにする可能性のある端を避けるために、卑劣な量のヘアスプレーを使用します。

ガウス スプラットを使用すると、これらの制限がすべてなくなります。グラシアの共同創設者兼最高経営責任者（CEO）のゲオルギイ・ヴィソツキー氏は、「服装にも制限はないし、髪にも制限はない」と語った。同氏はチェンナヴァシン氏のベンチャー・リアリティ・ファンドを同社の投資家の一人に数えている。前世代のボリュメトリック ビデオ キャプチャでは、影を除去するために目がくらむような量の光が必要でしたが、Gracia はほぼ完全な暗闇の中でシーンを録画することができました。 「影をすべて残して、芸術的な照明を使用できます」とヴィソツキー氏は言います。 「ガウス スプラットで得られるクリエイティブな柔軟性には驚くべきものがあります。」

とはいえ、まだ課題がないわけではありません。現時点では、ガウス スプラッティング クリップには依然としてビデオ 1 分あたり 9 GB のデータが必要ですが、ストリーミングや短い技術デモ以上のものには多すぎます。 Vysotskii 氏によると、同社は現在、1 分あたり 2 ～ 3 GB に削減することに取り組んでおり、180 度のボリューム VR ビデオでは 1 分あたりわずか 1 GB のデータしか必要としない可能性があります。同氏は、こうしたタイプのクリップは、ユーザーがあらゆる角度から指示を見ることができるため、最終的にはスーパーナチュラルなどの VR ワークアウト アプリや専門的な教育コンテンツのインストラクターの録画に取って代わることを構想しています。

これまでのガウス スプラットの最も野心的なデモの 1 つは Meta によって構築されました。 ハイパースケープ同社が今秋の Meta Connect カンファレンスで発表したこのアプリは、ユーザーがフォトリアルな 3D レンダリングを探索できるようにする Meta の Quest ヘッドセット用のアプリです。このアプリは、5 つのアーティスト スタジオと、かつてマーク ザッカーバーグのオフィスとして使用されていたメタのキャンパス内の会議室を含む 6 つのスペースをスキャンして起動しました。

ハイパースケープを使用すると、これらの空間内を自由に動き回ることができ、この種の視覚的な忠実度による魅力的な体験になります。ミックス メディア アーティスト、ダイアン ホフマンのサンフランシスコのスタジオでは、無数の人形や「ヘビの皮と貝殻」とラベルが貼られた箱など、数多くの奇妙なものを閲覧することができます。ビジュアル アーティスト、ダニエル アーシャムの膨大なポルシェ コレクションに驚嘆したり、ザックの以前のオフィスの窓の外にあるシダや木々を眺めたりすることもできます。レンダリングは非常にリアルに感じられるため、メタは描かれた家具に寄りかからないよう警告を含めざるを得なくなったと感じました。

現時点では、Hyperscape は特注の技術デモにすぎません。しかし、Meta Horizo​​n OS および Quest 副社長の Mark Rabkin 氏がこの秋の Meta Connect で私に語ったように、Meta にはガウス スプラットに関する大きな計画があるとのことです。 「ガウス スプラットはすでに、Horizo​​n エンジンとほぼ同じエンジンで実行されています」とラブキン氏は Meta のソーシャル VR プラットフォームについて言及しました。 「つまり、技術的には、これを世界で実行するまでの道のりはかなり短いのです。」

Meta は、VR クリエイターが没入型の世界と体験を構築するためのさらに別のツールとしてスプラットを構想しています。 ホライゾンワールド。同社は、最終的には誰でも自分の家をスキャンして、そのデジタルコピーをメタバースにアップロードできるようにする計画さえある。 「間違いなく」とラブキンは言った。 「それが私たちが目指していることです。」

その作業にどれくらいの時間がかかるか、 ホライゾンワールド それまで現在の形で存続するかどうかは、まったく別の問題です。メタ氏はこの記事のフォローアップインタビューへの参加を拒否したが、ナイアンティック社のマクレンドン氏は、ハイパースケープのようなスキャンツール構築の複雑さを過小評価しないよう警告した。

「彼らは基本的に完璧な見解を生み出しました」とマクレンドン氏は語った。メタ氏は各部屋の複数のスキャンを組み合わせた可能性が高く、おそらくかなりの量の手動編集とクリーンアップも行ったと同氏は示唆した。そして、結果として得られるスキャンはデバイス上でリアルタイムに処理するには大きすぎるため、Meta はスキャンをクラウドでレンダリングし、ヘッドセットに直接ストリーミングしています。

「スケールは大きくありませんが、見た目はとても良いです」とマクレンドン氏は語った。 「彼らはそれを拡大する道を持っていますか?わからない。”

ガウス スプラッティング技術の開発は急速に進んでいます。マクレンドン氏は、このテーマに関する新しい科学論文が発表されるスピードは、生成 AI 研究のスピードを反映していると語った。 「現在、論文は非常に早く出版されています」と彼は言いました。 「あの興奮は本物だ。」そして、彼らが開発している技術は迅速に実装されている、とチェナヴァシン氏は語った。 「あるいはスタートアップに転身した。」

ブレークスルーの機が熟している分野の 1 つは、スプラットと AI の組み合わせです。生成 AI はガウス スプラットのキャプチャとレンダリングを改善する可能性があり、Gracia AI のような企業がはるかに少ないカメラでビデオをキャプチャできるようになる可能性があります。同時に、3D オブジェクトやシーンをキャプチャする人が増え、生成 3D ビデオ モデル用の高品質トレーニング データの量も劇的に増加します。

これらすべては、日常の人々が AI プロンプト、ガウス スプラット キャプチャ、またはその両方の組み合わせを使用してフォトリアリスティックな 3D 空間を生成し、VR ヘッドセットまたは AR メガネを使用してその空間に入ることができる未来を示しています。

「XR のキラー アプリはマルチプレイヤー ホロデッキです」と Chennavasin 氏は言います。 「生成 AI とガウス スプラットは、現実とほとんど区別できない視覚的な忠実度でそれを作成する方法です。それは一夜にして起こることではありません。しかし、今ではそれは明らかだ」

このような未来が手の届くところにあると、次のような疑問が生じます。ホロデッキを持っているなら、最初にどこを訪れますか?まだ旅行する機会のなかった遠くの場所を写実的に表現したいですか?有名なレコーディングスタジオ、美術館、図書館でしょうか？それとも、中世の城、ダンジョン、マーベル映画のセットのような幻想的な世界ですか?

私にとって、それは母の居心地の良い小さな家と、あのガタガタの庭のベンチかもしれません。