GaussianCity ist ein effizientes, grenzenloses 3D-Stadtgenerierungs-Framework, das vom S-Lab der Nanyang Technological University vorgeschlagen wurde. Es basiert auf 3D-Gauß-Spritzung (3D-GS) und kompakter BEV-Punktdarstellung. Im Vergleich zu CityDreamer ist es 60-mal schneller, hat einen konstanten Speicherverbrauch und unterstützt die Generierung städtischer Szenen aus Drohnen- und Street-View-Perspektiven.

GaussianCitys 3D-Stadtgenerierungs-Framework

Kernparameter und Statistiken

Projekt	Einzelheiten
Produktname	Gaußsche Stadt
Produkttyp	3D Generative Framework (Akademische Forschung)
Lieferform	Open-Source-Code (Python + CUDA)
Kerntechnologie	3D-Gaußsches Splatting, BEV-Punkt
Papierkonferenz	CVPR 2025
GitHub-Sterne	336 (Stand Mitte 2025)
Entwicklungsteam	S-Lab der Nanyang Technological University
Open-Source-Lizenz	NTU S-Lab-Lizenz 1.0
Unterstützte Plattformen	Linux (erfordert NVIDIA GPU + CUDA)

Der zentrale Durchbruch von GaussianCity besteht darin, 3D-GS von der Generierung von Objekten/menschlichen Körpern in begrenztem Maßstab auf die Generierung von 3D-Städten in unendlichem Maßstab zu erweitern. Herkömmliche Ansätze wie CityDreamer sind in großen Szenarien mit Speicherexplosionsproblemen konfrontiert – eine 10 km² große Stadt benötigt Hunderte GB VRAM. GaussianCity überwindet diesen Engpass vollständig, indem es den Grafikspeicherverbrauch durch die kompakte BEV-Point-Darstellung auf einem konstanten Niveau hält. In Bezug auf die Inferenzgeschwindigkeit erreicht GaussianCity 10,72 FPS, was dem 60-fachen von CityDreamer (0,18 FPS) entspricht, was einen qualitativen Sprung darstellt.

Benutzer- und Markterkennung

GaussianCity wurde in CVPR 2025 aufgenommen und ist ein hochmodernes Forschungsergebnis im Bereich der 3D-Generierung. Die Online-Demonstration „Hugging Face“ wurde in der 11. Woche des Jahres 2025 als „Top 8 Spaces“ eingestuft und stieg später in die Top 1 Spaces auf, was darauf hindeutet, dass sie sowohl in der Wissenschaft als auch in der Industrie große Beachtung gefunden hat. Das GitHub-Repository erhielt 336 Sterne und 19 Forks und seine Community-Aktivität ist unter ähnlichen CVPR-Papierimplementierungen herausragend.

Diese Arbeit wurde vom gleichen Team von CityDreamer (NTU S-Lab) fortgesetzt, und die Nachfolgearbeit CityDreamer4D verfügt über eine öffentliche Seite, was darauf hinweist, dass dieser technische Weg weiterhin forschungsstark ist.

Kostenvorteil

GaussianCity ist ein vollständig Open-Source-wissenschaftliches Forschungsprojekt ohne Zahlungsschwelle:

Kostendimension	Beschreibung
Open-Source-Code	Das GitHub-Repository ist vollständig öffentlich und basiert auf der NTU S-Lab-Lizenz 1.0
Vorab trainiertes Modell	Bietet vorab trainierte Gewichte für den Hintergrundgenerator und den Gebäudegenerator
Online-Erlebnis	Hugging Face Spaces bietet eine kostenlose Online-Demo
Hardwarekosten	Sie müssen Ihre eigene NVIDIA-GPU (CUDA 11.8+) mitbringen, für das Training wird eine 8×GPU-Multikartenkonfiguration empfohlen

Für Forscher und Entwickler liegen die tatsächlichen Kosten in der Hardware-Investition. Der Training Background Generator empfiehlt „torchrun --nnodes=1 --nproc_per_node=8“ für die Konfiguration mit mehreren Karten. Für die Einzelkarteninferenz ist eine GPU mit mindestens 8 GB VRAM erforderlich. Dies ist eine herkömmliche Konfiguration im Bereich der Großmodell-/AIGC-Forschung, die Schwelle liegt jedoch für einzelne Enthusiasten höher.

Hauptfunktionen

• Grenzlose 3D-Stadtgenerierung: Unterstützt die Generierung vielfältiger Stadtszenen von der Vogelperspektive einer Drohne bis hin zur Straßenansicht. Der Szenenmaßstab ist nicht durch den Videospeicher begrenzt und kann theoretisch jede Stadtgröße erreichen.
• BEV-Point Compact Representation: Zerlegen Sie Punkte in der 3D-Szene in Positionsattribute und Stilattribute und implementieren Sie die Komprimierung über Bird's Eye View und Stil-Nachschlagetabellen, sodass der VRAM-Verbrauch nicht mit der Szenengröße steigt.
• Räumlicher BEV-Punkt-Decoder: Basierend auf Point Serializer und Point Transformer erfasst er die strukturellen und kontextuellen Beziehungen zwischen BEV-Punkten und generiert hochwertige 3D-Gauß-Attribute.
• Dual-Generator-Architektur: Der Hintergrundgenerator ist für Hintergrundelemente wie den Himmel und den Boden verantwortlich, und der Gebäudegenerator konzentriert sich auf die Generierung von Gebäuden. Die beiden arbeiten zusammen, um eine komplette Stadtszene zu vervollständigen.
• Echtzeit-Rendering und Interaktion: Eine effiziente Rasterisierungspipeline auf Basis von 3D-GS unterstützt Echtzeit-Rendering; Hugging Face Demo bietet ein interaktives Online-Erlebnis.

Modell- und Versionsentwicklung

Version	Datum	Beschreibung
Lagererstellung	24.05.2024	Erste Warehouse-Erstellung, der Code wurde noch nicht veröffentlicht
Schulungs-/Testcode-Veröffentlichung	27.02.2025	Vollständiger Trainings- und Inferenzcode, Freigabe der Gewichte vor dem Training
Umarmungsgesicht-Demo	02.03.2025	Die Online-Demo wurde gestartet, gewann die Top 8 Plätze (Woche 11) und stieg anschließend in die Top 1 auf
CVPR 2025 enthalten	2025-06	Das Papier wurde vom CVPR 2025 angenommen und offiziell veröffentlicht

Die Versionsgeschichte von GaussianCity ist klar: Von der Initialisierung des Lagers im Mai 2024 über den vollständigen Open-Source-Code im Februar 2025 bis zum Start der Hugging Face-Demo im März und der großen Beliebtheit in der Community ist der Gesamtrhythmus kompakt. Die Aufnahme des Papiers in CVPR 2025 bedeutet, dass die Arbeit die Peer-Review auf der Top-Konferenz bestanden hat. Der Code wird derzeit noch gewartet, und möglicherweise wird in Zukunft eine erweiterte Version auf der Grundlage derselben technischen Route veröffentlicht (siehe CityDreamer4D desselben Teams).

Technische Vorteile

Die Technologieführerschaft von GaussianCity spiegelt sich in drei Ebenen wider:

• BEV-Point Compact Representation: Die Kerninnovation liegt in der Zerlegung von 3D-Szenenpunkten in Positionsattribute und Stilattribute und der Erzielung eines konstanten Grafikspeicherverbrauchs durch BEV-Raumquantisierung + Stil-Nachschlagetabelle. Im Vergleich zur Voxel-/Gitterdarstellung von CityDreamer vermeidet BEV-Point das exponentielle Wachstum des Grafikspeichers bei Erweiterung des Szenenmaßstabs und ermöglicht so die Generierung einer 10 km² großen Stadt.
• 60-fache Geschwindigkeitsverbesserung: Im gleichen Szenario erreicht die Inferenzgeschwindigkeit von GaussianCity 10,72 FPS, während CityDreamer nur 0,18 FPS hat. Der Geschwindigkeitsvorteil ergibt sich aus der GPU-effizienten Rasterisierungspipeline von 3D-GS und der kompakten Datenstruktur von BEV-Point. Die Kombination der beiden reduziert die Rendering-Kosten jedes Frames erheblich.
• Spatial Aware Decoder: Das architektonische Design von Point Serializer + Point Transformer ermöglicht die effektive Erfassung des räumlichen Kontexts zwischen BEV-Punkten, wodurch geometrische Inkonsistenzen vermieden werden, die durch die unabhängige Punktgenerierung verursacht werden, wodurch das ausgegebene Stadtlayout angemessen und reich an architektonischen Details wird.

Wie man es benutzt

GaussianCity bietet drei Verwendungsmöglichkeiten:

Eintrag	Geben Sie	ein Beschreibung
GitHub-Quellcode	Selbstständigkeit	Repository klonen → Abhängigkeiten installieren → Vorab trainiertes Modell herunterladen → Inferenz ausführen
Umarmungsgesicht-Demo	Online-Erlebnis	Öffnen Sie den Browser und verwenden Sie ihn direkt, ohne Installationskonfiguration
Papier-/Projektseite	Referenzen	arXiv-Papiere, Projekteinführungen, Zitate usw.

Beginnen Sie schnell mit der lokalen Bereitstellung

„Bash

1. Klonen Sie das Repository

Git-Klon https://github.com/hzxie/GaussianCity cd GaussianCity

2. PyTorch installieren (CUDA 11.8-Beispiel)

pip install Torch==2.4.1 Torchvision==0.19.1 --index-url https://download.pytorch.org/whl/cu118

3. Installieren Sie Python-Abhängigkeiten

pip install -r Anforderungen.txt

4. Kompilieren Sie die CUDA-Erweiterung

GCITY_HOME=pwd cd $GCITY_HOME/extensions für e in ls -d */ tun cd $GCITY_HOME/extensions/$e pip install . erledigt

5. Laden Sie das vorab trainierte Modell in das Verzeichnis „output/“ herunter und führen Sie die Inferenz aus

python3 scripts/inference.py „

Hinweis: Die Inferenzgeschwindigkeit wird durch den CPU-seitigen „footprint_extruder“ in „inference.py“ begrenzt. Wenn Sie die schnellste Leistung benötigen, verwenden Sie bitte die GPU-Implementierung von Hugging Face Demo.

Hugging Face Online-Erlebnis

Besuchen Sie https://huggingface.co/spaces/hzxie/gaussian-city, um es direkt und ohne Konfiguration zu erleben.

Produktpreise

GaussianCity ist ein vollständig Open-Source-wissenschaftliches Projekt, das auf der Grundlage der NTU S-Lab License 1.0-Vereinbarung ohne Gebührenplan veröffentlicht wird:

• Offener Quellcode: Das GitHub-Repository ist vollständig offen und kann kostenlos verwendet werden.
• Vorab trainiertes Modell: Hintergrundgenerator- und Gebäudegeneratorgewichte kostenloser Download.
• Online-Demo: Kostenlose Testversion von Hugging Face Spaces.
• Kommerzielle Lizenz: Basierend auf der NTU S-Lab-Lizenz 1.0 muss die kommerzielle Nutzung den Bedingungen der Vereinbarung entsprechen. Es wird empfohlen, das NTU-Team zu konsultieren.

Die tatsächlichen Kosten ergeben sich hauptsächlich aus der Hardware:

• Einzelkarten-Inferenz: mindestens 8 GB VRAM-GPU (16 GB+ empfohlen)
• Vollständige Schulung: 8×GPU-Multikarten-Cluster empfohlen (A100 oder gleichwertig)

Anwendungsszenarien

• Spiele und virtuelle Realität: Erstellen Sie schnell realistische und grenzenlose 3D-Stadtkontexte für den Einsatz in Open-World-Spielen, VR-Roaming und anderen Szenarien, wodurch die Kosten für die manuelle Modellierung erheblich gesenkt werden.
• Film- und TV-Animationsproduktion: Erstellen Sie effizient komplexe Stadtszenen als Hintergrund- oder Spezialeffektmaterialien, unterstützen Sie stilisiertes Rendering und verbessern Sie die Effizienz der Produktionspipeline.
• Stadtplanung und Architekturdesign: Konvertieren Sie GIS-Daten schnell in 3D-Visualisierungsszenen, um die Stadtplanung, die Ausarbeitung von Bausteinen und die Anzeige von Entwurfsplänen zu unterstützen.
• Autonome Fahrsimulation: Generieren Sie abwechslungsreiche, realistische städtische Verkehrsszenen für Wahrnehmungs- und Planungstests autonomer Fahralgorithmen und ergänzen Sie Long-Tail-Situationen, die mit herkömmlichen Simulationsdatensätzen schwer abzudecken sind.
• Geografisches Informationssystem (GIS): Aktualisieren Sie 2D-Geodaten automatisch auf 3D-Stadtmodelle und unterstützen Sie so die frühe visuelle Überprüfung von Anwendungen wie digitalen Zwillingen und Smart Cities.

Anwendbare Personen

• Computer Vision/AIGC-Forscher: GaussianCity bietet eine hochmoderne Grundlage für die 3D-GS-Generierung auf städtischer Ebene, die als Ausgangspunkt für den Vergleich von Methoden oder weitere Verbesserungen geeignet ist.
• Spiele-, Film- und Fernsehentwickler: Technische Künstler und Entwickler, die schnell stapelweise urbane Hintergrund-Assets generieren müssen, können Open-Source-Code und vorab trainierte Modelle verwenden, um die Asset-Pipeline zu beschleunigen.
• Simulationsingenieur für autonomes Fahren: Ingenieure, die verschiedene Stadtszenendaten zur Algorithmusverifizierung benötigen, können zusätzliche Trainingsdaten auf Basis von GaussianCity generieren.
• Gilt nicht für Personen:
  • Einzelnen Benutzern, denen es an GPU-Rechenleistung mangelt (keine NVIDIA-GPU oder VRAM < 8 GB), wird die lokale Bereitstellung nicht empfohlen. – Nicht geeignet für Szenarien, die sofortige kommerzielle SaaS-Produkte erfordern (Generierung mit einem Klick, keine Programmierung erforderlich) – GaussianCity ist ein Forschungsframework und seine Verwendung erfordert eine Python/CUDA-Grundlage.
  • Erwartet wird die Ausgabe strukturierter Stadtdaten (Gebäude, Straßen, Verkehrsströme mit semantischen Tags). - GaussianCity generiert visuelle Darstellungen, keine strukturierten GIS-Daten.

Zusammenfassung und Ausblick

GaussianCity ist ein wichtiger Durchbruch bei der 3D-Stadtgenerierung. Es erweitert die Fähigkeiten von 3D-GS von Objekten/menschlichen Körpern in begrenztem Maßstab auf Szenen auf Stadtebene in unendlichem Maßstab und löst das Speicherengpassproblem, das das Feld seit langem plagt, durch die kompakte BEV-Point-Darstellung. Die 60-fache Geschwindigkeitssteigerung und die Befürwortung von CVPR 2025 machen es zu einer unvermeidlichen Basismethode in dieser Richtung.

Allerdings ist GaussianCity eher als Forschungsrahmen denn als Massenproduktionstool positioniert: Es erfordert eine GPU-fähige Python-Programmiergrundlage und ein Verständnis des 3D-GS-Technologie-Stacks. Die aktuelle Version richtet sich hauptsächlich an Forscher und Entwickler mit technischen Fähigkeiten, eine direkt kommerzielle SaaS-Version gibt es derzeit nicht.

Beschaffungs-/Einführungsrisikobewertung: Für einzelne Enthusiasten ist der Hardware-Schwellenwert (NVIDIA GPU + CUDA + mindestens 8 GB VRAM) die größte versteckte Investition. Für Unternehmensbenutzer müssen die kommerziellen Bedingungen der NTU S-Lab-Lizenz 1.0 sorgfältig geprüft werden. Es wird empfohlen, den Umfang der Autorisierung vor der kommerziellen Nutzung mit dem NTU-Team abzuklären. Das Projekt wird derzeit von einem einzelnen Forscher (Haozhe Xie) betreut. Der langfristige Iterationsrhythmus hängt von der kontinuierlichen Investition des akademischen Teams ab und es besteht ein gewisses Maß an Unsicherheit. Es wird empfohlen, GaussianCity als Forschungsverifizierungs- oder Rapid-Prototyping-Tool zu verwenden. Szenarien auf Produktionsebene müssen für eine vergleichende Bewertung noch mit der CityDreamer-Serie oder anderen kommerziellen Lösungen kombiniert werden.

Verwandte Tools: midjourney, stable-diffusion

Versionsinfo

• Offizielle Version von CVPR 2025 ：Der Trainings- und Testcode ist vollständig veröffentlicht und unterstützt OSM- und GoogleEarth-Datensätze. Hugging Face Demo ist online (02.03.2025). （2025-02-27）
• Lagererstellung ：Das anfängliche Repository ist erstellt, der Code ist noch nicht öffentlich. （2024-05-24）