BAGEL ist ein multimodales einheitliches Open-Source-Basismodell (7B aktive Parameter/14B Gesamtparameter) des ByteDance Seed-Teams. Es basiert auf der Mixture-of-Transformer-Experts (MoT)-Architektur und integriert visuelles Verständnis, Text-zu-Bild-Generierung, Bildbearbeitung, Stilübertragung, Weltnavigation und mehrrundige kombinierte Dialogfunktionen im selben Modell. Es übertrifft Qwen2.5-VL-7B im visuellen Verständnis-Benchmark, vergleicht die Qualität von Vincent-Bildern mit FLUX.1-dev und seine Bildbearbeitungsfunktionen sind mit Gemini 2.0 vergleichbar. Die Apache 2.0-Lizenz bietet Gradio WebUI- und HuggingFace-Modellgewichtungen.

BAGEL

Kernparameter und Statistiken von BAGEL

BAGEL (Bagel AI) ist ein multimodales, einheitliches Open-Source-Basismodell des ByteDance Seed-Teams. Es ist offiziell als „Unified Model for Multimodal Understanding and Generation“ positioniert. Es umfasst visuelles Verständnis, Text-zu-Bild-Generierung, Bildbearbeitung, Stilübertragung, Weltnavigation und mehrrundigen kombinierten Dialog innerhalb einer Reihe von Modellgewichten. Es handelt sich weder um einen unabhängigen Chatbot noch um einen einfachen Bildgenerator, sondern um ein Grundmodell, das Verständnis und Generierung in derselben Architektur vereint.

Projekte	Öffentliche Informationen
Offizielle Positionierung	Einheitliches Modell für multimodales Verständnis und Generierung
Entwicklungsteam	Bytedance Seed Team (Chaorui Deng, Deyao Zhu, Kunchang Li usw.)
Architektur	Mixture-of-Transformer-Experts (MoT)
Modellgröße	7B aktive Parameter / 14B Gesamtparameter (15B Gesamtgewichte)
Grundmodell	Feinabstimmung basierend auf Qwen2.5-7B-Instruct
Visueller Encoder	VAE (Pixelebene) + ViT (semantische Ebene) Dual-Encoder
Generatives Paradigma	Nächste Gruppe von Token-Vorhersage
Open-Source-Lizenz	Apache 2.0
GitHub-Sterne	6.100+
GitHub Forks	542
HuggingFace Likes	1.210+
Neueste Version	BAGEL-7B-MoT (20.05.2025)
Unterstützte Sprachen	Englisch (Hauptsprache), die Community hat chinesische Schnittstelle beigesteuert
Mit Kontext ausführen	12 GB+ VRAM (NF4-Quantisierung), 32 GB+ empfohlen

Tatsächliche Bedeutung des Dual-Encoder-Designs: Der VAE-Encoder ist für die Erfassung von Details auf Pixelebene (Textur, Kanten, Farbverläufe) verantwortlich, und der ViT-Encoder ist für die Extraktion von Merkmalen auf semantischer Ebene (Objektkategorien, Szenenbeziehungen, emotionale Atmosphäre) verantwortlich. Die Zusammenarbeit zwischen den beiden ermöglicht es BAGEL, die Feinstruktur des Originalbilds beizubehalten und das semantische Modifikationsziel in der Absicht des Benutzers bei Bildbearbeitungsaufgaben zu verstehen – dies ist die technische Grundlage dafür, dass es die meisten Konkurrenzprodukte bei Bearbeitungs-Benchmarks übertrifft.

Benutzer und Marktbekanntheit von BAGEL

BAGEL ist ein Open-Source-Versuch des ByteDance Seed-Teams, multimodale Felder zu vereinheitlichen. Obwohl es nur für kurze Zeit (Mai 2025) veröffentlicht wurde, hat es in der Technologie-Community große Aufmerksamkeit erregt und ein frühes Ökosystem bestehend aus GitHub, HuggingFace und Discord gebildet.

Feedback der GitHub- und HuggingFace-Community: Innerhalb von zwei Monaten nach der Veröffentlichung erhielt GitHub mehr als 6.100 Sterne und 542 Forks, und die HuggingFace-Modellseite erhielt mehr als 1.210 Likes. Modell-Downloads erfolgen durchschnittlich etwa 759 Mal pro Monat. Das Warehouse hat 142 Issues und 9 Pull Requests generiert und die Community-Aktivität ist unter den Open-Source-Projekten von ByteDance auf einem hohen Niveau.

Von der Community abgeleitetes Ökosystem: Nach der Veröffentlichung steuerte die Community schnell mehrere abgeleitete Projekte und Tools bei – ComfyUI-Knotenintegration (@neverbiasu), komprimierte DF11-Version (@LeanModels), INT8-quantisierte Version (@Gapeleon), Windows-Installationsanleitung (@prartio), Docker-Image (@davideuler, @jnc-nj) und mehrere HuggingFace Space-Demonstrationsinstanzen von Drittanbietern. Dieses Modell aus „offiziellem Release-Modell + Community-Completion-Toolchain“ zeigt, dass die grundlegenden Fähigkeiten von BAGEL von der Engineering-Community anerkannt wurden.

Branchen-Benchmark-Leistung: In der visuellen Verständnisdimension übertrifft BAGEL Qwen2.5-VL-7B (83,5/67,1/68,2) und Janus-Pro-7B (79,2/41,0/50,0) bei Benchmarks wie MMBench (85,0), MMStar (67,2) und MathVista (73,1). In der Vincent-Diagrammdimension beträgt der Gesamtwert von GenEval 0,88 (einschließlich Rewritter/CoT) und übertrifft damit FLUX.1-dev (0,82), SD3-Medium (0,74) und Janus-Pro-7B (0,80). In der Bildbearbeitungsdimension liegt die Leistung von BAGEL auf ImgEdit-Bench (7,36/6,83/6,52) zwischen Gemini 2.0 (6,73/6,61/6,32) und GPT-4o (7,85/7,62/7,53). Es ist eine der Lösungen mit den stärksten Bearbeitungsmöglichkeiten unter den Open-Source-Modellen.

Der Kostenvorteil von BAGEL

Die Kostenstruktur von BAGEL ist in drei Ebenen unterteilt: Modellanschaffungskosten, Inferenzbetriebskosten und Feinabstimmungs-/Anpassungskosten. Die Kostenmerkmale der einzelnen Ebenen unterscheiden sich erheblich.

C-Seite/Einzelbenutzer: Kostenlose Modelle, bringen Sie Ihre eigene Rechenleistung mit: Die Modellgewichte von BAGEL stehen zum kostenlosen Download auf HuggingFace unter der Apache 2.0-Lizenz zur Verfügung, ohne dass Lizenzgebühren anfallen. Allerdings müssen einzelne Benutzer ihre eigene GPU-Hardware mitbringen, um die Inferenz auszuführen. Die Mindestkonfiguration erfordert 12 GB VRAM (mit NF4 4-Bit-Quantisierung), 32 GB+ VRAM werden empfohlen. Am Beispiel der Miete einer Cloud-GPU erfordert die Ausführung der Inferenz des 7B-Modells etwa 1×A100-80G oder 1×RTX 4090, und die On-Demand-Miete kostet etwa 5–15 Yuan/Stunde. Für einzelne Benutzer, die es gelegentlich verwenden, bedeutet dies, dass die Kosten für jedes Experiment zwischen einigen Yuan und Dutzenden Yuan liegen.

Entwickler-/API-Integration: Keine offizielle API, Sie müssen Ihren eigenen Inferenzdienst erstellen: BAGEL bietet derzeit keine gehosteten kommerziellen API-Dienste an und Entwickler müssen ihre eigenen Inferenzendpunkte bereitstellen. Zu den Bereitstellungsoptionen gehört die native Gradio-WebUI, die über HuggingFace Inference Endpoints gehostet oder in Ihr eigenes Anwendungs-Backend integriert wird. Die Bereitstellungskosten werden hauptsächlich durch die Inferenzhardware bestimmt – eine einzelne A100-80G-Karte kann die Echtzeit-Inferenz von 7B-Modellen unterstützen, und die monatliche Miete für Cloud-Dienste beträgt 5.000 bis 8.000 Yuan. Die von der Community beigesteuerten quantisierten Versionen (DF11, INT8) können auf wirtschaftlicherer Hardware ausgeführt werden, die Ausgabequalität wird jedoch beeinträchtigt.

Enterprise/private Bereitstellung: Keine Lizenzgebühren für Open Source, aber manuelle Bedienung und Wartung erforderlich: Unternehmen können BAGEL unter der Apache 2.0-Lizenz kostenlos herunterladen, ändern und bereitstellen, ohne Lizenzgebühren zu zahlen. Die tatsächlichen Kosten der privatisierten Bereitstellung spiegeln sich jedoch in drei Aspekten wider: den Kauf- oder Leasingkosten eines GPU-Computing-Clusters (es wird empfohlen, mit 4×A100-80G zu beginnen, mit einer monatlichen Gebühr von etwa 20.000 bis 30.000 Yuan); die Arbeitskosten für die Feinabstimmung und Anpassung des Modells (Ingenieure mit Erfahrung im multimodalen Modelltraining sind erforderlich); und die Kosten für kontinuierliche Versionsaktualisierungen und Community-Tracking. Im Vergleich zu kommerziellen Closed-Source-Lösungen (wie der GPT-4o-API, die etwa 30 US-Dollar pro Million Token-Input und 180 US-Dollar pro Million Token-Output kostet) bietet das Open-Source-Modell von BAGEL erhebliche Kostenvorteile in Hochfrequenz-Anrufszenarien, erfordert jedoch, dass Unternehmen über entsprechende technische Betriebs- und Wartungskapazitäten verfügen.

Kostendimension	BAGEL (Open-Source-Modell)	Kommerzielle Closed-Source-Lösungen (z. B. GPT-4o API)
Modelllizenzgebühr	Keine Kosten (Apache 2.0)	Abrechnung per Token
Inferenzhardware	Bringen Sie Ihre eigene GPU mit (monatliche Miete ab 5.000–8.000 Yuan)	Keine Hardwarekosten
Kosten für Einheitsinferenz	Hängt von der Hardware-Amortisation ab, in Hochfrequenzszenarien extrem niedrig	Geben Sie ~30 USD/Million Token ein, geben Sie ~180 USD/Million Token aus
Feinabstimmung/Anpassung	Sie können die Feinabstimmung selbst vornehmen, die Kosten betragen Rechenleistung + Arbeitskräfte	Nicht fein abgestimmt
Betriebs- und Wartungspersonal	Anforderungen (Modellbereitstellung, Überwachung, Aktualisierung)	Kein Betrieb und keine Wartung
Datenschutz	Vollständige Selbstkontrolle	Vertrauen in die Datenrichtlinie des Cloud-Dienstanbieters

Hauptfunktionen von BAGEL

Das Leistungsspektrum von BAGEL deckt den kompletten visuell-linguistischen Bereich vom Verstehen bis zur Generierung ab. Die folgenden sechs Kernfunktionen sind die Hauptunterschiede zwischen ihm und reinen Textmodellen oder rein generativen Modellen.

• Visuelles Verständnis: Bild- und Texteingaben empfangen und multimodale Gespräche führen. BAGEL erkennt nicht nur Objekte und Szenen in Bildern, sondern versteht auch den Text, die Grafiken, den künstlerischen Stil und den kulturellen Kontext innerhalb des Bildes. Es übertrifft Qwen2.5-VL-7B der gleichen Parametergröße bei umfassenden Verständnis-Benchmarks wie MMBench (85,0) und MMMU (55,3). Verwendungswert: Geeignet für die Überprüfung von Bildinhalten, visuelle Fragen und Antworten, die Interpretation von Lehrmaterial und andere Szenarien, die ein tiefgreifendes Verständnis der Bildsemantik erfordern.

• Text-zu-Bild-Generierung: Generieren Sie hochauflösende, fotorealistische Bilder aus Textbeschreibungen. BAGEL übernimmt das Next Group of Token Prediction-Paradigma, um Bilder als diskrete Token-Sequenzen für die autoregressive Generierung darzustellen. Der GenEval-Gesamtwert beträgt 0,88 (mit Rewritter/CoT), was in feinkörnigen Dimensionen wie Farbe, räumliche Beziehung und Objektanzahl besser ist als FLUX.1-dev und SD3-Medium. Nutzungswert: Geeignet für die Erstellung von Konzeptzeichnungen in den frühen Phasen des kreativen Designs, die schnelle Iteration von Werbematerialien und die Visualisierung von Produktprototypen.

• Intelligente Bildbearbeitung: BAGELs herausragendste differenzierte Funktion. Basierend auf der Fähigkeit zur Bewahrung der visuellen Identität, die durch Vortraining auf Videokaskadendaten erlangt wird, kann BAGEL Vorgänge wie lokale Modifikation, Objektersetzung und Hintergrundtransformation von Bildern durch Anweisungen in natürlicher Sprache durchführen, und das bearbeitete Bild bleibt in Bezug auf Beleuchtung, Textur und Perspektive in hohem Maße mit dem Originalbild konsistent. Führende Open-Source-Modelle auf ImgEdit-Bench mit CLIP-Werten von 7,36/6,83/6,52. Nutzungswert: Ersetzen des Hintergrunds von E-Commerce-Produktbildern, Porträtmodifikation, kreative Nachanpassung der Werbung, keine Notwendigkeit, professionelle Tools wie Photoshop zu erlernen.

• Stilübertragung: Konvertieren Sie das Eingabebild von einem visuellen Stil in einen anderen (z. B. echte Fotos in 3D-Animationen, Ölgemälde in Aquarell) oder übertragen Sie Stile zwischen „Welten“ (z. B. reale Szenen in eine Science-Fiction-Welt). Nutzungswert: Stilisierte Stapelverarbeitung für Content-Ersteller, Konzeptdesign vor Film und Fernsehen sowie Spezialeffekte für soziale Medien.

• Weltnavigation: BAGEL destilliert räumliche Navigationsfunktionen aus Videodaten und kann das nächste Bild vorhersagen, nachdem Vorgänge wie Weiterleiten und Drehen anhand des aktuellen perspektivischen Bildes ausgeführt wurden. Geeignet für Science-Fiction-Szenen, künstlerische Gemälde und freie Navigation in verschiedenen Drehwinkeln. Nutzungswert: Automatische Generierung von Spielszenen, frühe Vorschau der VR/AR-Inhalte der visuellen Navigationssimulation von Robotern.

• Komposition und Denken: Unterstützt die kontinuierliche Generierung und Änderung von Bildern in mehreren Dialogrunden („Generiere ein Elfenmädchen → verwandle sie in eine Jellycat-Puppe → schreibe einen Marketingslogan für diese Puppe“). Nach dem Aktivieren des Denkmodus generiert BAGEL zunächst einen detaillierten Argumentationsprozess (innerhalb des „“-Tags) und generiert dann eine genauere visuelle Ausgabe basierend auf den Argumentationsergebnissen. Nutzwert: Kreative Arbeitsabläufe, die mehrere Iterationen erfordern, hochpräzise Generierungsaufgaben, die Überlegungen und Planung erfordern.

BAGELs Modell- und Versionsentwicklung

BAGEL durchlief von einem internen Forschungsprojekt bis hin zu Open Source nur einen Entwicklungs- und Verifizierungszyklus von etwa 2-3 Monaten. Das schnelle Wachstum des Community-Ökosystems hat es jedoch ermöglicht, in kurzer Zeit ein umfangreiches abgeleitetes Versionssystem zu bilden.

Hauptversion

• BAGEL Beta (~2025-03): Eine Prototypversion der internen Forschungsphase des ByteDance Seed-Teams, die sich in der Erkundungsphase zur Vereinheitlichung des Diffusionsmodells befindet. Unveröffentlicht, noch kein offizielles genaues Datum.
• BAGEL-7B-MoT v1.0 (20.05.2025): Die erste öffentlich veröffentlichte Version mit Open-Source-Modellgewichten (HuggingFace), Trainingscode (GitHub), technischem Bericht (arXiv:2505.14683) und Online-Demo. Basierend auf der Feinabstimmung von Qwen2.5-7B-Instruct unter Verwendung der MoT-Architektur und des Dual-Encoder-Designs wird ein einheitliches Verständnis und eine einheitliche Text-Bild-Generierung erzielt.
• Kontinuierliche BAGEL-7B-MoT-Updates (2025-05 bis heute): Beamte pflegen nach der Veröffentlichung eine aktive Codepflege, einschließlich Evaluierungscode-Updates (KRIS-Bench, RISEBench, ImgEdit-Bench-Evaluierungsskripts), Verbesserungen des Schulungsleitfadens (TRAIN.md), Inferenzoptimierung (MFU-Tracking-Unterstützung, Hardware-Peak-FLOPS-Erkennung) usw. Der letzte Commit (a2fa77d) erfolgt im Mai 2025.

Von der Community abgeleitete Version

Die Apache 2.0-Lizenz von BAGEL ermöglicht der Community die freie Verbreitung und Änderung des Modells, wobei innerhalb kurzer Zeit nach der Veröffentlichung mehrere abgeleitete Versionen erscheinen:

Versionstyp	Mitwirkende	Beschreibung
DF11 komprimierte Version	@LeanModels	Verwenden Sie die Komprimierung im DF11-Format, um den Speicher- und Ladeaufwand zu reduzieren
INT8 quantisierte Version	@Gapeleon	8-Bit-quantisierte Version, kann auf Hardware mit geringerem Speicher ausgeführt werden
ComfyUI-Knoten	@neverbiasu	ComfyUI-BAGEL-Knoten, der im ComfyUI-Workflow	BAGEL genannt werden kann
Windows-Installationshandbuch	@prartio	Kompletter Installations- und Betriebsplan von BAGEL unter Windows 11
Docker-Image	@jnc-nj, @davideuler	Docker-Image mit vorkompiliertem flash_attn, um die Schwierigkeit der Kontextkonfiguration zu verringern

Diese abgeleiteten Versionen werden vom ByteDance Seed-Team nicht offiziell empfohlen und die Qualität und Kompatibilität müssen von den Benutzern selbst bewertet werden.

Wichtige Details zur Modellarchitektur

Das Gesamtgerüst von BAGEL-7B-MoT enthält drei Hauptkomponenten: das Sprachrückgrat (die Transformer-Schicht von Qwen2.5-7B-Instruct wird in MoT umgewandelt), den dualen visuellen Encoder (VAE bietet Funktionen auf Pixelebene und ViT bietet Funktionen auf semantischer Ebene) und die Projektionsschicht, die visuelle und sprachliche Funktionen verbindet. Das Training ist in drei Phasen unterteilt: Vortraining (großräumige verschachtelte multimodale Daten), kontinuierliches Training (hochwertige ausgerichtete Daten) und überwachte Feinabstimmung (Anweisungsdaten). Bei Standard-Benchmarks wie ImageNet zeigt BAGEL eine konstante Leistung, die sich mit zunehmender Menge an Trainingstokens weiter verbessert.

Die technischen Vorteile von BAGEL

Die Wahl des technischen Wegs durch BAGEL erklärt, warum sowohl Verständnis als auch Generierung innerhalb eines einzigen Modells möglich sind – nicht durch „Zusammenfügen“ zweier unabhängiger Module, sondern durch die Vereinheitlichung von Architekturdesign und Trainingsstrategien.

Mixture-of-Transformer-Experts (MoT)-Architektur: MoT ist die zentrale Designentscheidung von BAGEL. Herkömmliche MoE (Mixture-of-Experts) nutzen mehrere Expertennetzwerke in der FFN-Schicht, während MoT die gesamte Transformer-Schicht (einschließlich Aufmerksamkeits- und Feed-Forward-Netzwerke) als Experteneinheit nutzt. Dies ermöglicht es verschiedenen Experten, differenzierte Informationsverarbeitungsmodi zu erlernen – einige Experten sind gut darin, die räumliche Beziehung zwischen visuellen Tokens zu verarbeiten, und einige Experten sind gut im semantischen Denken von Sprachtokens. Während der Inferenz wird jedes Token nur an die Top-2-Experten weitergeleitet, und die Aktivierungsparameter betragen etwa 7B (Gesamtparameter 14B), wodurch eine hohe Kapazität bei gleichzeitiger Argumentationseffizienz aufrechterhalten wird.

Dual-Encoder-Fusionsstrategie: BAGEL verwendet zwei visuelle Encoder, VAE (variativer Autoencoder) und ViT (visueller Transformator), um Merkmale auf Pixelebene bzw. semantischer Ebene zu extrahieren. VAE-Encoder sind gut darin, die strukturellen Details eines Bildes beizubehalten – bei Bildbearbeitungsaufgaben bedeutet dies, dass die Kanten, Texturen und Beleuchtung geänderter Bereiche nahtlos mit dem Originalbild verschmelzen. Der ViT-Encoder ist gut darin, die Gesamtsemantik des Bildes zu verstehen – er teilt dem Modell mit, „was“ das Bearbeitungsobjekt „ist“ und „welche Eigenschaften es haben sollte“. Die Merkmale der beiden werden nach der Fusion auf der Projektionsebene in das MoT-Backbone eingegeben und bilden ein duales visuelles Signal aus „Pixelgenauigkeit + semantischem Verständnis“. Offizielle Ablationsexperimente zeigen, dass das Entfernen eines der beiden Encoder zu einer erheblichen Verschlechterung der Bearbeitungsqualität führt.

Paradigma zur Generierung der Vorhersage der nächsten Gruppe von Token: Im Gegensatz zu den meisten autoregressiven Modellen, die Token für Token vorhersagen, verwendet BAGEL die Gruppenvorhersage (Gruppenvorhersage) und sagt jedes Mal mehrere aufeinanderfolgende Token (eine Gruppe) voraus. Dies verbessert den Generierungsdurchsatz, ohne die Anzahl der Inferenzschritte zu erhöhen, während die interne Korrelation jeder Tokengruppe den generierten Bildern eine bessere lokale Konsistenz verleiht. In Verbindung mit dem Diffusionsverlust des Flow Matching-Trainingsziels erreicht BAGEL in der Qualität der Text-zu-Bild-Generierung ein Niveau, das mit dedizierten Diffusionsmodellen konkurriert.

Neue Funktionen durch Videokaskadendaten: BAGEL ist vorab auf groß angelegte interleaved Videodaten trainiert. Die zeitliche Konsistenz zwischen Videobildern zwingt das Modell dazu, die „Bewahrung der visuellen Identität“ zu erlernen – das heißt die Fähigkeit desselben Objekts, unter verschiedenen Betrachtungswinkeln, Beleuchtungen und Körperhaltungen dasselbe Erscheinungsbild beizubehalten. Diese Fähigkeit lässt sich direkt auf Bildbearbeitungsszenarien übertragen und ermöglicht es BAGEL, Bildinhalte erheblich zu modifizieren (z. B. Objekte zu ersetzen, Aktionen zu ändern) und gleichzeitig eine konsistente Identität beizubehalten. Offizielle Experimente zeigen, dass mit zunehmender Menge an Trainingstokens in der richtigen Reihenfolge Verständnis, Generierung, grundlegende Bearbeitung und intelligente Bearbeitungsfähigkeiten entstehen. Unter ihnen ist „intelligente Bearbeitung“ (die eine kreative Änderung erfordert, nachdem die Absicht des Benutzers verstanden wurde) die neueste Fähigkeit, die angezeigt wird, und auch der Hauptunterschied zwischen BAGEL und reinen generativen Modellen.

Leistungs- und Durchsatzreferenz: BAGEL gibt offiziell keine genauen Daten zur Inferenzlatenz (TTFT/TPM) bekannt. Die tatsächliche Leistung hängt von der Hardwarekonfiguration und dem Quantisierungsschema ab. Nimmt man eine einzelne Karte A100-80G mit BAGEL-7B-MoT (BF16) als Referenz, liegt die einzelne Inferenzzeit der Text-zu-Bild-Generierung ungefähr im Bereich von 5–15 Sekunden (abhängig von der Bildauflösung und den Rauschunterdrückungsschritten). Der Betrieb auf RTX 4090 (24 GB VRAM) mit NF4-Quantisierung erhöht die Inferenzlatenz um 30–50 %. In Stapelverarbeitungsszenarien kann der Durchsatz durch Erhöhen der Stapelgröße linear verbessert werden, es sollte jedoch auf die Obergrenze des Videospeichers geachtet werden.

Nicht für Grenzen geeignet: BAGEL ist nicht für Szenarien geeignet, die das Verständnis extrem langer Texte erfordern (z. B. die Analyse von Millionen-Token-Dokumenten). unterstützt keine Videogenerierung (unterstützt nur Einzelbildvorhersage); Die chinesische Verständnisfähigkeit wurde nicht speziell optimiert und wird hauptsächlich von der chinesischen Fähigkeit des Basismodells Qwen2.5-7B übernommen. bietet keine kommerzielle API- oder SLA-Garantie; bietet begrenzte Unterstützung für die Erzeugung hochauflösender Bilder (>1024×1024).

WIE MAN BAGEL VERWENDET

Die Nutzungspfade von BAGEL sind in lokale Bereitstellung und Online-Erfahrung unterteilt. Derzeit werden keine gehosteten kommerziellen API-Dienste bereitgestellt.

So verwenden Sie	Geeignet für Menschen	Funktionen	Kosten
Offizielle Online-Demo	Schnelle Benutzererfahrung	Besuchen Sie demo.bagel-ai.org, keine lokale GPU erforderlich	Kostenlos
HuggingFace Space	Schnelltest-Benutzer	Besuchen Sie hf.co/spaces/ByteDance-Seed/BAGEL	Kostenlos (vorbehaltlich der HF-Kontingentbegrenzung)
Lokale Gradio-WebUI	Entwickler/Vertiefter Benutzer	Lokale GPU läuft, voller Funktionszugriff	Bringen Sie Ihre eigene GPU-Hardware mit
Lokale Befehlszeileninferenz	Entwickler/Forscher	Wird über inference.ipynb oder inferencer.py	aufgerufen Bringen Sie Ihre eigene GPU-Hardware mit
Selbstgebauter Inferenzdienst	Unternehmens-/Integrationsanforderungen	Als API-Endpunkt gekapselt, in eigenes System integriert	Bereiten Sie Ihre eigene GPU-Hardware + Betrieb und Wartung vor

Lokale schnelle Bereitstellung (Gradio WebUI):

„Bash

1. Klonen Sie das Repository und installieren Sie Abhängigkeiten

Git-Klon https://github.com/bytedance-seed/BAGEL.git CD BAGEL conda create -n bagel python=3.10 -y Conda aktiviert Bagel pip install -r Anforderungen.txt pip install flash_attn==2.5.8 --no-build-isolation

2. Modellgewichte herunterladen (Python-Skript)

python -c " von Huggingface_hub Snapshot_Download importieren save_dir = 'models/BAGEL-7B-MoT' snapshot_download( local_dir=save_dir, repo_id='ByteDance-Seed/BAGEL-7B-MoT', local_dir_use_symlinks=Falsch, resume_download=True, allow_patterns=['.json', '.safetensors', '.bin', '.py', '.md', '.txt'] ) "

3. Starten Sie die Gradio-WebUI

python app.py # 32 GB+ VRAM oder mehrere GPUs python app.py --mode 2 --zh # 22~32 GB VRAM, INT8-Quantisierung empfohlen, chinesische Schnittstelle python app.py --mode 3 # 12~22 GB VRAM, NF4-Quantisierung wird empfohlen „

Beschreibung der Inferenzparameter: BAGEL bietet mehrere anpassbare Inferenzhyperparameter zur Steuerung des Generierungsverhaltens. „cfg_text_scale“ (empfohlen 4.0-8.0) steuert, wie stark das Modell Texthinweisen folgt; „cfg_image_scale“ (empfohlen 1.0-2.0) steuert, wie viele Details des Eingabebildes erhalten bleiben; „cfg_interval“ (empfohlen „[0.4, 1.0]“) steuert den Anteil der von CFG angewendeten Rauschunterdrückungsschritte; „timestep_shift“ steuert die Rauschunterdrückung. Die Verteilungsverschiebung der Anzahl der Schritte (je höher der Wert, desto mehr vorherige Schritte, was sich auf das Layout auswirkt; je niedriger der Wert, desto mehr nachfolgende Schritte, was die Details verbessert); „num_timesteps“ (empfohlen 50) steuert die Gesamtzahl der Entrauschungsschritte.

API-Kurzreferenz: BAGEL bietet keine Standard-REST-API, kann aber benutzerdefinierte Inferenzdienste basierend auf inferencer.py kapseln. Das Folgende ist ein grundlegendes Python-Aufrufmuster:

„Python aus Inferencer importieren BagelInferencer

model = BagelInferencer( model_path="models/BAGEL-7B-MoT", dtype="bf16", quantize=None # Kann auf „nf4“ oder „int8“ gesetzt werden )

visuelles Verständnis

Antwort = model.chat( image="path/to/image.jpg", text="Beschreiben Sie dieses Bild im Detail." )

Text-zu-Bild-Generierung

image = model.generate( prompt="Ein fotorealistisches Foto einer Katze im Raumanzug, die auf dem Mars steht", cfg_text_scale=6.0, num_timesteps=50 ) „

ComfyUI-Integration: Ein von der Community bereitgestellter ComfyUI-Knoten (ComfyUI-BAGEL) ermöglicht den Aufruf der Generierungs- und Bearbeitungsfunktionen von BAGEL innerhalb von ComfyUI-Workflows. Informationen zur Installationsmethode finden Sie in den Anweisungen unter „github.com/neverbiasu/ComfyUI-BAGEL“.

BAGEL-PRODUKTPREISE

BAGEL verfügt derzeit über kein kommerzielles Preissystem und die Nutzungskosten werden vollständig von der Hardwareauswahl und Bereitstellungsmethode des Benutzers bestimmt.

Modellanschaffungskosten: Keine Kosten. BAGEL-Modellgewichte werden auf HuggingFace unter der Apache 2.0-Lizenz öffentlich veröffentlicht und können von Unternehmen, Einzelpersonen und Entwicklern kostenlos heruntergeladen und verwendet werden, ohne dass Lizenzgebühren zu zahlen sind. Der Trainingscode und die Evaluierungsskripte sind ebenfalls Open Source auf GitHub unter der Apache 2.0-Lizenz.

Inferenzbetriebskosten: Hängt von der Hardwarekonfiguration ab. Die niedrigste Konfiguration (NF4-Quantisierung, 12 GB VRAM) kann mit einer Consumer-GPU (z. B. RTX 3090/4090) betrieben werden, und die monatlichen Mietkosten für eine einzelne Karte betragen etwa 2.000 bis 4.000 Yuan. Die empfohlene Konfiguration (BF16, 32 GB+ VRAM) erfordert A100-80G oder eine gleichwertige Rechenleistung, und die monatliche Miete für die Cloud-GPU kostet 5.000–8.000 Yuan. Die Bereitstellung mehrerer Instanzen oder Szenarien mit hoher Parallelität erfordern eine lineare Erweiterung der Hardware basierend auf der tatsächlichen Auslastung.

Feinabstimmungs- und Anpassungskosten: BAGEL unterstützt LoRA-basierte oder vollständige Parameter-Feinabstimmung, aber die Feinabstimmung erfordert eine höhere Hardwarekonfiguration (empfohlen, mit 4×A100-80G zu beginnen) und Erfahrung im professionellen Modelltraining. Die laufenden Kosten eines einzelnen Feinabstimmungsexperiments liegen zwischen Hunderten und Tausenden von Yuan (abhängig von der Datengröße und der Anzahl der Trainingsschritte). Die von der Community beigesteuerten quantisierten Versionen (DF11, INT8) können die Hardwareschwelle für die Feinabstimmung senken, es gibt jedoch derzeit keine standardisierte Feinabstimmungs-Toolkette.

Kostenvergleich mit kommerziellen APIs: In Szenarien, in denen das durchschnittliche tägliche Anrufvolumen das 100.000-fache übersteigt, sind die Grenzkosten eines selbst erstellten BAGEL-Inferenzdienstes niedriger als die kommerzieller APIs (wie GPT-4o), erfordern jedoch eine einmalige Investition in Infrastruktur sowie Betriebs- und Wartungsfunktionen. In Szenarien, in denen das durchschnittliche tägliche Anrufvolumen weniger als das 10.000-fache beträgt, bietet das „Pay-as-you-go“-Modell kommerzieller APIs möglicherweise insgesamt größere Kostenvorteile.

Anwendungsszenarien von BAGEL

Dank der multimodalen, einheitlichen Fähigkeiten von BAGEL kann BAGEL den direkten Implementierungswert in vier Bereichen demonstrieren: Content-Erstellung, E-Commerce-Marketing, Spieleentwicklung und akademische Forschung.

• Inhaltserstellung und Designunterstützung: Durch die Funktion „Verstehen→Generieren→Bearbeiten→Verstehen“ von BAGEL eignet es sich besonders für mehrstufige Iterationsszenarien in kreativen Arbeitsabläufen. Beispiel: Der Designer verwendet zunächst Text, um eine Produktkonzeptkarte zu erstellen, ändert dann lokale Details durch Bearbeitung in natürlicher Sprache und lässt schließlich das Modell die Qualität des generierten Bildes analysieren und Verbesserungsvorschläge machen. Dieser Vorgang kann in einem einzigen Gespräch abgeschlossen werden, ohne zwischen mehreren Tools wechseln zu müssen. Implementierungstipps: Die Ausgabeauflösung von BAGEL ist durch die Basismodellfähigkeit (ca. 1024×1024) begrenzt, die nicht für die Endproduktion geeignet ist, die eine ultrahochauflösende Ausgabe erfordert (z. B. Poster in Druckqualität). Es eignet sich eher für den mittelfristigen Proof of Concept und die Erkundung von Inspirationen.

• E-Commerce und Werbematerialproduktion: Der Hauptschmerzpunkt in der E-Commerce-Szene ist die Explosion von Materialkombinationen aus „mehreren SKUs × mehreren Szenen × mehreren Stilen“. Die Stilmigrations- und Bildbearbeitungsfunktionen von BAGEL können eine Stapelerweiterung von „einem Produktbild → N Hintergrundstilen“ realisieren und so den Materialproduktionszyklus einer einzelnen SKU von Tagen auf Stunden verkürzen. Für Social-Media-Operationen und das Design großer Werbeseiten, die häufige Änderungen der Marketingvisualisierungen erfordern, kann der Thinking-Modus von BAGEL auch automatisch Marketingtexte für die generierten Bilder schreiben und so eine integrierte Ausgabe von Grafiken und Text erreichen. Implementierungstipps: Die von BAGEL generierten Bilder sind bei der Wiederherstellung von Markenelementen (Logos, Standardfarben) möglicherweise nicht so genau wie spezielle Markendesign-Tools. Es wird empfohlen, die BAGEL-Ausgabe als Basismaterial zu verwenden und später Markenspezifikationen hinzuzufügen.

• Entwicklung von Spielen und virtuellen Welten: Die Weltnavigations- und Stilübertragungsfunktionen von BAGEL bieten Spieleentwicklern die Möglichkeit, Prototypen schnell zu verifizieren. Designer können konzeptionelle Szenendiagramme eingeben und das Modell Bilder aus verschiedenen Perspektiven vorhersagen lassen (entspricht einer „visuellen 3D-Vorschau“) oder schnell zwischen verschiedenen Kunststilen wechseln, um Effekte zu vergleichen. Für unabhängige Spieleteams und die Prototyping-Phase kann dies die Kosten für die Auslagerung von Konzeptzeichnungen erheblich reduzieren. Landetipps: Die Weltnavigation von BAGEL unterstützt derzeit nur begrenzte Perspektivenwechsel (Vorwärts- und Rückwärtsbewegung, Drehung) und kein freies Roaming kompletter 3D-Szenen. Es eignet sich eher für 2D-Horizontalversionen oder Spieltypen mit fester Perspektive.

• Akademische Forschung und Bildung: Als Open-Source-Modell, das unter der Apache 2.0-Lizenz lizenziert ist, bietet BAGEL eine reproduzierbare, modifizierbare Basis für multimodale KI-Forschung. Forscher können das Skalierungsgesetz einer einheitlichen multimodalen Architektur, visuelle semantische Fusionsstrategien und Auslösebedingungen für neue Fähigkeiten auf der Grundlage von BAGEL untersuchen. Im Bildungsbereich können die visuellen Verständnis- und Dialogfähigkeiten von BAGEL zum Aufbau interaktiver Lernassistenten genutzt werden – Schüler laden beispielsweise einen Schaltplan hoch und das Modell wird analysiert, um Erklärungstexte zu generieren und Schlüsselkomponenten zu markieren. Implementierungstipps: Die chinesischen Funktionen von BAGEL wurden nicht speziell optimiert. In Bildungsszenarien, in denen Chinesisch die Hauptsprache ist, wird empfohlen, die englische Eingabe zu verwenden oder die zweisprachige Chinesisch-Englisch-Version selbst zu verfeinern.

BAGEL ist für Menschen geeignet

Aufgrund der nicht-kommerziellen Positionierung und des Open-Source-Technologie-Stacks eignet sich BAGEL eher für Teams und Forscher mit Möglichkeiten zur Selbstbereitstellung als für Endbenutzer, die nach sofort einsatzbereiten Produkten suchen.

• KI-Forscher und multimodaler Doktorand: BAGEL ist eines der wenigen einheitlichen multimodalen Modelle in der aktuellen Open-Source-Community und bietet eine ideale experimentelle Plattform für die Untersuchung der „Vereinheitlichung von Verständnis und Generierung“, der „visuell-semantischen gemeinsamen Darstellung“ und der „emergenten Fähigkeit“. Die Apache 2.0-Lizenz erlaubt die kostenlose Änderung und Weiterverbreitung, und die Zitierbasis bleibt intakt. Voraussetzungen: Ingenieurserfahrung im Training und Inferenz großer Modelle ist erforderlich; Hardware 4×A100-80G oder höher wird empfohlen.

• KI-Anwendungsentwickler und Unternehmerteams: Entwickler können multimodale Anwendungen für vertikale Szenarien auf Basis von BAGEL erstellen (z. B. intelligente Fotoalbum-Bearbeitungstools, E-Commerce-Designassistenten, Generatoren für Bildungsinhalte) und gleichzeitig visuelles Verständnis und Generierungsfähigkeiten in derselben Argumentationspipeline erhalten, wodurch die technische Komplexität und Verzögerungsüberlagerung vermieden wird, die durch die Integration mehrerer unabhängiger Modelle verursacht wird. Voraussetzungen: Modellbereitstellungs- und API-Kapselungsfunktionen sind erforderlich; Es wird empfohlen, die Nachhaltigkeit der GPU-Kosten im Geschäftsmodell zu bewerten.

• Inhaltsersteller und -designer (technisch): Ersteller, die mit der Befehlszeile und Python vertraut sind, können die Gradio-WebUI von BAGEL direkt für die lokale Erstellung verwenden und dabei unbegrenzte kostenlose Generierungszeiten und vollständigen Datenschutz (lokale Ausführung) genießen. Im Vergleich zu Cloud-Diensten erfordert die lokale Bereitstellung zwar eine einmalige Hardware-Investition, die langfristigen Nutzungskosten sind jedoch niedriger und unterliegen nicht den Inhaltsprüfungsrichtlinien des Dienstanbieters. Voraussetzungen: Sie müssen Ihre eigene GPU-Hardware mitbringen (RTX 4090 oder höher empfohlen); Es sind grundlegende Befehlszeilenfunktionen erforderlich.

• Ungeeignete Personen: BAGEL ist für die folgenden vier Benutzertypen nicht geeignet - ① Nicht-technische Benutzer, die eine sofort einsatzbereite Nutzung anstreben (BAGEL verfügt über keine mobile App, keine verwaltete API und muss selbst bereitgestellt werden); ② Unternehmen, die kommerzielles SLA und Kundensupport benötigen (BAGEL ist ein von der Community betriebenes Open-Source-Projekt ohne offiziellen technischen Support); ③ Benutzer, die Funktionen zur Videoerzeugung oder zum Verstehen langer Videos benötigen (BAGEL Die Timing-Funktionen sind auf Einzelbildvorhersage und Nahbereichsnavigation beschränkt); ④ Benutzer, die eine qualitativ hochwertige chinesische Ausgabe benötigen (BAGELs chinesische Funktionen stammen aus dem Basismodell Qwen2.5 und wurden nicht speziell auf chinesische Szenen abgestimmt).

Zusammenfassung und Ausblick

Die Kernkompetenzen und aktuellen Grenzen von BAGEL im Bereich einheitlicher multimodaler Modelle sind klar erkennbar. Sein Wertversprechen und seine Risikomerkmale sind wie folgt.

Kernkompetenzen: BAGEL ist eines der wenigen multimodalen Modelle in der aktuellen Open-Source-Community, das die drei Hauptfunktionen „Verstehen + Generieren + Bearbeiten“ unter derselben Architektur realisiert. Die MoT-Architektur und die Dual-Encoder-Strategie sind technologisch zukunftsweisend – sie verlassen sich nicht auf das „Zusammenfügen“ mehrerer dedizierter Modelle, sondern nutzen Trainingsstrategien, um die Entstehung eines einzigen Modells mit mehrdimensionalen Fähigkeiten zu ermöglichen. Im Schlüsselsegment der Bildbearbeitung liegt die Open-Source-Leistung von BAGEL nahe an oder erreicht das Niveau von Closed-Source-Geschäftsmodellen (GPT-4o, Gemini 2.0), was für datensensible Szenarien (medizinische Bildgebung, Compliance-Überprüfung, interne Designsysteme), die keine kommerziellen APIs verwenden können, von erheblichem Wert ist.

Aktuelle Einschränkungen: BAGEL befindet sich noch im Anfangsstadium eines Open-Source-Projekts und es besteht eine Lücke zwischen ihm und ausgereiften Projekten hinsichtlich der technischen Reife, der Vollständigkeit der Dokumentation und der ökologischen Toolkette. Das GitHub-Repository verfügt über keinen formellen Release-Release-Prozess und die Versionsverwaltung ist undurchsichtig; Der Beamte stellt keine kommerziellen APIs und Supportdienste bereit und Unternehmen verlassen sich ausschließlich auf ihre eigenen technischen Fähigkeiten. Die chinesischen Sprachfunktionen, die hochauflösende Ausgabe und die Videogenerierungsfunktionen des Modells weisen alle Mängel auf. Die Qualität der von der Community beigesteuerten abgeleiteten Versionen ist ungleichmäßig und es fehlt ein offizieller Überprüfungsmechanismus.

Richtung der technologischen Entwicklung: Laut der vom Seed-Team im arXiv-Papier veröffentlichten Skalierungsgesetzanalyse zeigt BAGEL weiterhin einen Leistungsverbesserungstrend mit mehr Trainingstoken. Zu den weiteren Entwicklungsrichtungen, die Aufmerksamkeit verdienen, gehören: die Erweiterung von Fähigkeiten zur Erzeugung höherer Auflösung, die Einführung von Fähigkeiten zur Videoerzeugung (Videokaskadendaten haben den Grundstein für diese Richtung gelegt), spezielle Optimierung der chinesischen und mehrsprachigen Fähigkeiten sowie effizientere Inferenzbeschleunigungslösungen (wie spekulative Dekodierung, parallele Generierung).

Beschaffungs- und Einführungsrisikobewertung: Für Institutionen mit Selbstbereitstellungsfähigkeiten und technischen Teams lautet der risikoarme Einführungspfad von BAGEL: ① Erstellen Sie ein PoC-Verifizierungskernszenario auf einer einzelnen Karte A100-80G oder RTX 4090 (es wird empfohlen, mit der Bildbearbeitung und dem Wensheng-Diagramm zu beginnen); ② Führen Sie einen horizontalen Vergleich mit inländischen multimodalen Open-Source-Modellen wie Tencent Hunyuan und Zhipu GLM-4V durch, um die tatsächlichen Auswirkungen in Geschäftsszenarien zu bewerten. ③ Wenn die Überprüfung bestanden wird, kann sie auf die Bereitstellung mehrerer Instanzen und die Feinabstimmung der Anpassung erweitert werden. Es sind drei Konformitätsprüfungen zu beachten: Wenn Sie Ihr eigenes abgeleitetes Modell unter der Apache 2.0-Lizenz trainieren, müssen Sie die ursprüngliche Urheberrechtserklärung beibehalten; Sie müssen die Verantwortung für die Einhaltung der Inhalte tragen, wenn Sie von BAGEL generierte kommerzielle Inhalte verwenden. Das Modell basiert auf Qwen2.5 und muss den zusätzlichen Nutzungsbedingungen von Tongyi Qianwen entsprechen. Für Teams ohne GPU-Infrastruktur oder ohne die Fähigkeit, große Modelle zu betreiben und zu warten, empfiehlt es sich, kommerziellen multimodalen Lösungen mit verwalteten APIs Vorrang einzuräumen.

Verwandte Tools: midjourney, stable-diffusion

Versionsinfo

• BAGEL-7B-MoT ：Die erste öffentliche Version, einheitliches multimodales Verständnis- und Generierungsmodell, 7B aktive Parameter/14B Gesamtparameter, MoT-Architektur. （2025-05-20）
• BAGEL-Beta ：Interne Testversion, noch kein offizielles genaues Datum. （~2025-03）