GaussianCity est un cadre efficace de génération de villes 3D sans frontières proposé par le S-Lab de l'Université technologique de Nanyang. Il est basé sur les éclaboussures gaussiennes 3D (3D-GS) et la représentation compacte BEV-Point. Comparé à CityDreamer, il est 60 fois plus rapide, consomme constamment de la mémoire et prend en charge la génération de scènes urbaines à partir de perspectives de drones et de vues de rue.

Le framework de génération de villes 3D de GaussianCity

Paramètres et statistiques de base

Projet	Détails
Nom du produit	Ville Gaussienne
Type de produit	Cadre génératif 3D (recherche universitaire)
Formulaire de livraison	Code Open Source (Python + CUDA)
Technologie de base	Éclaboussures gaussiennes 3D, BEV-Point
Conférence papier	CVPR 2025
Étoiles GitHub	336 (à mi-2025)
Équipe de développement	S-Lab de l'Université technologique de Nanyang
Licence Open Source	Licence NTU S-Lab 1.0
Plateformes prises en charge	Linux (nécessite NVIDIA GPU + CUDA)

La principale avancée de GaussianCity est d’étendre la 3D-GS de la génération d’objets/corps humains à échelle limitée à la génération de villes 3D à échelle infinie. Les approches traditionnelles telles que CityDreamer sont confrontées à des problèmes d'explosion de mémoire dans des scénarios à grande échelle : une ville de 10 km² nécessite des centaines de Go de VRAM. GaussianCity brise complètement ce goulot d'étranglement en maintenant la consommation de mémoire graphique à un niveau constant grâce à la représentation compacte BEV-Point. En termes de vitesse d'inférence, GaussianCity atteint 10,72 FPS, soit 60 fois celle de CityDreamer (0,18 FPS), ce qui constitue un saut qualitatif.

Reconnaissance des utilisateurs et du marché

GaussianCity a été incluse dans le CVPR 2025 et constitue un résultat de recherche de pointe dans le domaine de la génération 3D. Sa démonstration en ligne Hugging Face a été classée parmi les 8 meilleurs espaces au cours de la 11e semaine de 2025, puis s'est hissée au premier rang des espaces, indiquant qu'elle a reçu une large attention dans le monde universitaire et l'industrie. Le référentiel GitHub a reçu 336 étoiles et 19 Forks, et son activité communautaire est exceptionnelle parmi les implémentations similaires d'articles CVPR.

Ce travail a été poursuivi par la même équipe de CityDreamer (NTU S-Lab), et le travail de suivi CityDreamer4D a une page publique, indiquant que cette voie technique a une vitalité de recherche continue.

Avantage de coût

GaussianCity est un projet de recherche académique entièrement open source sans seuil de paiement :

Dimension du coût	Descriptif
Code source ouvert	Le référentiel GitHub est entièrement public, basé sur la licence NTU S-Lab 1.0
Modèle pré-entraîné	Fournit des poids pré-entraînés pour le générateur d'arrière-plan et le générateur de bâtiments
Expérience en ligne	Hugging Face Spaces propose une démo en ligne gratuite
Coût du matériel	Vous devez apporter votre propre GPU NVIDIA (CUDA 11.8+), une configuration multicarte 8 × GPU est recommandée pour la formation

Pour les chercheurs et les développeurs, le coût réel réside dans l’investissement matériel. Training Background Generator recommande torchrun --nnodes=1 --nproc_per_node=8 pour la configuration multi-cartes. L'inférence sur une seule carte nécessite un GPU avec au moins 8 Go de VRAM. Il s’agit d’une configuration classique dans le domaine de la recherche grand modèle/AIGC, mais le seuil est plus élevé pour les particuliers passionnés.

Fonctions principales

• Génération de villes 3D sans frontières : prend en charge la génération de diverses scènes urbaines, depuis la vue plongeante d'un drone jusqu'à la vue de la rue. L'échelle de la scène n'est pas limitée par la mémoire vidéo et peut théoriquement atteindre n'importe quelle taille de ville.
• Représentation compacte BEV-Point : décomposez les points de la scène 3D en attributs de position et attributs de style, et implémentez la compression via la vue à vol d'oiseau et les tables de recherche de style, afin que la consommation de VRAM n'augmente pas avec la taille de la scène.
• Décodeur BEV-Point à conscience spatiale : basé sur Point Serializer et Point Transformer, il capture les relations structurelles et contextuelles entre les points BEV et génère des attributs gaussiens 3D de haute qualité.
• Architecture à double générateur : Le générateur d'arrière-plan est responsable des éléments d'arrière-plan tels que le ciel et le sol, et le générateur de bâtiments se concentre sur la génération de bâtiments. Les deux travaillent ensemble pour compléter une scène urbaine complète.
• Rendu et interaction en temps réel : un pipeline de rastérisation efficace basé sur 3D-GS prend en charge le rendu en temps réel ; Hugging Face Demo offre une expérience interactive en ligne.

Evolution du modèle et de la version

Version	Dates	Descriptif
Création d'entrepôt	2024-05-24	Création initiale de l'entrepôt, le code n'a pas encore été rendu public
Publication du code de formation/test	2025-02-27	Code complet d'entraînement et d'inférence, libération des poids de pré-entraînement
Démo câlins au visage	2025-03-02	La démo en ligne a été lancée, a remporté le Top 8 Spaces (semaine 11) et s'est ensuite hissée au Top 1
CVPR 2025 inclus	2025-06	L'article a été accepté par CVPR 2025 et officiellement publié

L'historique des versions de GaussianCity est clair : de l'initialisation de l'entrepôt en mai 2024 au code open source complet en février 2025, en passant par le lancement de Hugging Face Demo en mars et qui a reçu une grande popularité auprès de la communauté, le rythme global est compact. L'inclusion du document dans le CVPR 2025 signifie que le travail a passé avec succès l'examen par les pairs lors de la plus haute conférence. Le code est actuellement encore en maintenance, et une version améliorée pourrait être lancée sur la même voie technique dans le futur (voir le CityDreamer4D de la même équipe).

Avantages techniques

Le leadership technologique de GaussianCity se reflète à trois niveaux :

• Représentation compacte BEV-Point : l'innovation principale réside dans la décomposition des points de scène 3D en attributs de position et en attributs de style, et dans l'obtention d'une consommation de mémoire graphique constante grâce à la quantification spatiale BEV + la table de recherche de style. Comparé à la représentation voxel/grille de CityDreamer, BEV-Point évite la croissance exponentielle de la mémoire graphique lorsque l'échelle de la scène est étendue, permettant ainsi de générer une ville de 10 km².
• Amélioration de la vitesse 60x : Dans le même scénario, la vitesse d'inférence de GaussianCity atteint 10,72 FPS, tandis que CityDreamer n'a que 0,18 FPS. L’avantage en termes de vitesse vient du pipeline de rastérisation efficace sur GPU de 3D-GS et de la structure de données compacte de BEV-Point. La combinaison des deux réduit considérablement le coût de rendu de chaque image.
• Spatial Aware Decoder : La conception architecturale de Point Serializer + Point Transformer permet de capturer efficacement le contexte spatial entre les points BEV, évitant les incohérences géométriques causées par la génération de points indépendante, rendant la disposition de la ville de sortie raisonnable et riche en détails architecturaux.

Comment utiliser

GaussianCity propose trois façons de l'utiliser :

Entrée	Tapez	Descriptif
Code source de GitHub	Auto-déploiement	Cloner le référentiel → Installer les dépendances → Télécharger le modèle pré-entraîné → Exécuter l'inférence
Démo câlins au visage	Expérience en ligne	Ouvrez le navigateur et utilisez-le directement, sans aucune configuration d'installation
Page Article/Projet	Références	Articles arXiv, présentations de projets, citations, etc.

Démarrez rapidement avec le déploiement local

# 1. Cloner le référentiel
clone git https://github.com/hzxie/GaussianCity
cd GaussianCity

# 2. Installez PyTorch (exemple CUDA 11.8)
pip install torch==2.4.1 torchvision==0.19.1 --index-url https://download.pytorch.org/whl/cu118

# 3. Installer les dépendances Python
pip install -r exigences.txt

# 4. Compiler l'extension CUDA
GCITY_HOME=`mot de passe`
cd $GCITY_HOME/extensions
pour e dans `ls -d */`
faire
  cd $GCITY_HOME/extensions/$e
  pip installer.
fait

# 5. Téléchargez le modèle pré-entraîné dans le répertoire output/ et exécutez l'inférence
scripts python3/inférence.py

Remarque : la vitesse d'inférence est limitée par le « footprint_extruder » côté CPU dans « inference.py ». Si vous avez besoin des performances les plus rapides, veuillez utiliser l'implémentation GPU de Hugging Face Demo.

Expérience en ligne Hugging Face

Visitez https://huggingface.co/spaces/hzxie/gaussian-city pour en faire l'expérience directement sans aucune configuration.

Prix des produits

GaussianCity est un projet académique entièrement open source, publié sur la base de l'accord NTU S-Lab License 1.0, sans aucun plan de facturation :

• Code source ouvert : le référentiel GitHub est entièrement ouvert et gratuit.
• Modèle pré-entraîné : téléchargement gratuit des poids du générateur d'arrière-plan et du générateur de bâtiments.
• Démo en ligne : essai gratuit de Hugging Face Spaces.
• Licence commerciale : basée sur la licence NTU S-Lab 1.0, l'utilisation commerciale doit être conforme aux termes de l'accord. Il est recommandé de consulter l'équipe NTU.

Le coût réel provient principalement du matériel :

• Inférence de carte unique : GPU VRAM minimum de 8 Go (16 Go+ recommandés)
• Formation complète : cluster multi-cartes 8×GPU recommandé (A100 ou équivalent)

Scénarios d'application

• Jeux et réalité virtuelle : générez rapidement des contextes urbains 3D réalistes et sans frontières à utiliser dans les jeux VR en monde ouvert et dans d'autres scénarios, réduisant ainsi considérablement les coûts de modélisation manuelle.
• Production d'animation cinématographique et télévisuelle : générez efficacement des scènes urbaines complexes comme matériaux d'arrière-plan ou d'effets spéciaux, prenez en charge le rendu stylisé et améliorez l'efficacité du pipeline de production.
• Urbanisme et conception architecturale : convertissez rapidement les données SIG en scènes de visualisation 3D pour faciliter la planification de l'aménagement urbain, l'élaboration des éléments de base et l'affichage des plans de conception.
• Simulation de conduite autonome : générez des scènes de trafic urbain réalistes et diversifiées pour tester la perception et la planification des algorithmes de conduite autonome, complétant ainsi les situations à longue traîne difficiles à couvrir avec des ensembles de données de simulation classiques.
• Système d'information géographique (SIG) : mettez automatiquement à niveau les données géographiques 2D vers des modèles de ville 3D, prenant en charge la vérification visuelle précoce d'applications telles que les jumeaux numériques et les villes intelligentes.

Personnes concernées

• Chercheur en vision par ordinateur/AIGC : GaussianCity fournit une base de référence de pointe en matière de génération 3D-GS à l'échelle urbaine, pouvant être utilisée comme point de départ pour comparer les méthodes ou pour d'autres améliorations.
• Développeurs de jeux, de films et de télévision : les artistes techniques et les développeurs qui ont besoin de générer rapidement des actifs d'arrière-plan urbain par lots peuvent utiliser du code open source et des modèles pré-entraînés pour accélérer le pipeline d'actifs.
• Ingénieur de simulation de conduite autonome : les ingénieurs qui ont besoin de diverses données de scènes urbaines pour la vérification des algorithmes peuvent générer des données de formation supplémentaires basées sur GaussianCity.
• Ne s'applique pas aux personnes :
  • Il n'est pas recommandé aux utilisateurs individuels qui manquent de puissance de calcul GPU (pas de GPU NVIDIA ou de VRAM < 8 Go) d'essayer le déploiement local.
  • Ne convient pas aux scénarios qui nécessitent des produits SaaS instantanés de qualité commerciale (génération en un clic, aucun codage requis) - GaussianCity est un framework de recherche et son utilisation nécessite une base Python/CUDA.
  • Attendre la sortie de données urbaines structurées (bâtiments, routes, flux de trafic avec balises sémantiques) - GaussianCity génère des rendus visuels, pas des données structurées SIG.

Résumé et Outlook

GaussianCity constitue une avancée importante dans la génération de villes en 3D. Il étend les capacités de la 3D-GS depuis les objets/corps humains à échelle limitée jusqu'aux scènes urbaines à échelle infinie, et résout le problème de goulot d'étranglement de la mémoire qui tourmente depuis longtemps le domaine grâce à la représentation compacte BEV-Point. L’augmentation de la vitesse par 60 et l’approbation du CVPR 2025 en font une méthode de référence incontournable dans cette direction.

Cependant, GaussianCity se positionne comme un cadre de recherche plutôt que comme un outil de production de masse : il nécessite une base de programmation Python compatible GPU et une compréhension de la pile technologique 3D-GS. La version actuelle est principalement destinée aux chercheurs et aux développeurs ayant des capacités techniques, et il n'existe actuellement aucune version SaaS commerciale directe.

Évaluation des risques d'approvisionnement/d'adoption : Pour les passionnés individuels, le seuil matériel (GPU NVIDIA + CUDA + au moins 8 Go de VRAM) est le plus gros investissement caché. Pour les utilisateurs professionnels, les conditions commerciales de la licence NTU S-Lab 1.0 doivent être examinées attentivement. Il est recommandé de confirmer la portée de l'autorisation auprès de l'équipe NTU avant toute utilisation commerciale. Le projet est actuellement maintenu par un chercheur individuel (Haozhe Xie). Le rythme des itérations à long terme dépend de l’investissement continu de l’équipe académique, et il existe un certain degré d’incertitude. Il est recommandé d'utiliser GaussianCity comme outil de vérification de recherche ou de prototypage rapide. Les scénarios de production doivent encore être combinés avec la série CityDreamer ou d'autres solutions commerciales pour une évaluation comparative.

Outils associés : midjourney, stable-diffusion

Informations de version

• Version officielle CVPR 2025 ：Le code de formation et de test est entièrement publié, prenant en charge les ensembles de données OSM et GoogleEarth ; La démo Hugging Face est en ligne (02/03/2025). （2025-02-27）
• Création d'entrepôt ：Le référentiel initial est créé, le code n'est pas encore public. （2024-05-24）