FS-DFM (Few-Step Discrete Flow-Matching) ist ein wenige Schritte umfassendes, diskretes Flow-Matching-Sprachmodell, das gemeinsam von Apple und der Ohio State University veröffentlicht wurde. Die 8-stufige Abtastung kann mit der 1024-stufigen Basisqualität vergleichbar sein und eine bis zu 128-fache Beschleunigung erreichen.

FS-DFM: Wenigstufiges diskretes Flow-Matching-Textgenerierungsmodell

Kernparameter und Statistiken

Projekt	Einzelheiten
Produktname	FS-DFM (Few-Step Discrete Flow-Matching)
Produkttyp	Open-Source-Forschungsmodell/Diffusionssprachenmodell
Lieferform	PyTorch Open-Source-Code
Unterstützte Sprachen	Englisch
Entwicklungsorganisation	Apple ML-Forschung / Ohio State University
Papier inklusive	ICLR 2026
Open-Source-Lizenz	Passen Sie die Apple Open Source-Lizenz an
Modellparameter	1,3B (vortrainierte Gewichte im Lieferumfang enthalten)

Die oben genannten Informationen basieren auf arXiv:2509.20624 und dem GitHub-Repository.

FS-DFM (Few-Step Discrete Flow-Matching) ist ein diskretes Flow-Matching-Sprachmodell, das gemeinsam von Apple und der Ohio State University vorgeschlagen wurde. Der zentrale Durchbruch besteht darin: Es sind nur 8 Sampling-Schritte erforderlich, um das 1024-stufige Ratlosigkeitsniveau des traditionellen diskreten Diffusionsmodells zu erreichen, wodurch eine bis zu 128-fache Generationsbeschleunigung erreicht wird. Diese Errungenschaft überwindet den inhärenten Engpass des „Austauschs von Iterationsschritten gegen Qualität“ im Diffusionssprachenmodell und komprimiert die Erstellung langer Texte von Minuten auf Sekunden.

Ein kurzer Kommentar in einem Satz: Dies ist kein Chat-Produkt für Endbenutzer, sondern ein wichtiger Forschungsdurchbruch für Apple, um das diskrete Diffusionsmodell in die praktische Anwendung zu bringen – es beweist, dass „Sampling in weniger Schritten + Flow-Matching“ mit autoregressiven Modellen hinsichtlich des Durchsatzes bei Sprachmodellierungsaufgaben konkurrieren kann.

Benutzer- und Markterkennung

• Akademische Anerkennung: Das Papier wurde in die internationale Top-Konferenz ICLR 2026 aufgenommen und die Gutachter bewerteten seinen wesentlichen Fortschritt in Richtung der Stichprobe diskreter Diffusionssprachmodelle in wenigen Schritten.
• Open-Source-Ökosystem: Das GitHub-Repository „apple/ml-fs-dfm“ bietet eine vollständige PyTorch-Implementierung, Pre-Training-Gewichte (1.3B), Trainings- und Evaluierungsskripte, und die Community kann Sekundärprodukte direkt reproduzieren und entwickeln.
• Medienaufmerksamkeit: Mehrere KI-Medien (z. B. Videos zur Interpretation verwandter Technologien wurden zu Zehntausenden angesehen).
• Technischer Einfluss: Die von FS-DFM vorgeschlagene Kombination aus „Stichprobenschritten als explizites Parametertraining + Lehrerdestillation + benutzerdefinierter diskreter Löser“ bietet eine neue Grundlage für die nachfolgende Forschung zu diskreten Diffusionsmodellen.

Kostenvorteil

Kostendimension	Beschreibung
Modellgewichte	Kostenlos und Open Source, bietet 1.3B Checkpoint-Download vor dem Training
Code	Vollständig Open Source, MIT-ähnliche Lizenz
Schulungskosten	GPU-Ressourcen erforderlich (CUDA 11.0+), Schulungskosten hängen von der Hardwarekonfiguration ab
Inferenzkosten	Mit 8 Stichprobenschritten kann eine hohe Qualität erreicht werden, wodurch der Energieverbrauch der Inferenzrechenleistung im Vergleich zur Basislinie mit tausend Schritten um das 128-fache reduziert wird

Der Kernkostenwert von FS-DFM besteht darin, den Inferenzaufwand von O (tausend Schritte) auf O (8 Schritte) zu reduzieren, was direkte Bedeutung für die Latenz- und Durchsatzoptimierung in Bereitstellungsszenarien hat. Für Forscher entfallen durch den vollständig offenen Quellcode und die Gewichte die Kosten einer wiederholten Implementierung; Für Ingenieurteams erleichtern die Merkmale der Stichprobenentnahme in wenigen Schritten die Integration in Echtzeit-Textgenerierungspipelines.

Es ist zu beachten, dass das Training einer Reihe von FS-DFM-Modellen immer noch die Unterstützung eines großen GPU-Clusters erfordert. Das von Open Source bereitgestellte Gewicht von 1,3 B kann die meisten experimentellen und Feinabstimmungsanforderungen erfüllen.

Hauptfunktionen

• Diskrete Flussanpassung in wenigen Schritten: Verwenden Sie die Anzahl der Abtastschritte als expliziten Parameter, um das Modell zu trainieren, damit es unter verschiedenen Schrittbudgets stabil generiert werden kann. Acht Abtastschritte können das Verwirrungsniveau des herkömmlichen diskreten Flussabgleichs mit 1024 Schritten erreichen.
• Benutzerdefinierter diskreter Löser: Bietet „mixture_euler“, „mixture_euler_with_cumulative_scalar“ und andere diskrete Löser und unterstützt zwei Quellverteilungen von „uniform“ und „mask“.
• Lehrer-Destillations-Framework: Durch die Destillation von Wissen aus einem Lehrermodell mit langer Flugbahn zu einem Schülermodell mit wenigen Schritten wird die Qualität der Stichprobenentnahme in wenigen Schritten verbessert und Wahrscheinlichkeitsüberschreitungen oder Gradienteninstabilität vermieden.
• Vollständige Open-Source-Toolkette: einschließlich drei Hauptmodulen: Vorschulung, Schulung und Evaluierung. Bietet einen 1,3-B-Parameter-Checkpoint vor dem Training und unterstützt die Perplexitäts- und ELBO-Auswertung.
• Unterstützung der Transformer-Architektur: Basierend auf der Standard-Transformer-Architektur unterstützt es konfigurierbare Vokabulargröße, Dropout-Regularisierung und verteiltes Training.

[Expertenansicht]: Das eigentliche Highlight von FS-DFM ist nicht die einfache Geschwindigkeitsverbesserung, sondern sein „Schritt-Generalisierungs“-Design – nachdem das Modell mit Schrittkonsistenz trainiert wurde, kann das gleiche Gewicht unter verschiedenen Verzögerungs-/Qualitätsanforderungen flexibel umgeschaltet werden. Dies bedeutet, dass Entwicklungsteams die Anzahl der Stichprobenschritte zum Zeitpunkt der Bereitstellung basierend auf den Hardwarefunktionen und der Echtzeitlast dynamisch anpassen können, anstatt für jedes Szenario unabhängige Modelle zu verwalten. Diese Elastizität ist bei LLM-Servitization-Einsätzen äußerst wertvoll.

Modell- und Versionsentwicklung

Version	Datum	Veranstaltung
arXiv erste Version	24.09.2025	Das Papier wurde erstmals auf arXiv:2509.20624	veröffentlicht
GitHub Open Source	24.09.2025	Das „apple/ml-fs-dfm“-Warehouse wird gleichzeitig veröffentlicht, einschließlich vollständigem Code und Gewicht
Akzeptiert von ICLR 2026	2026-01	Das Papier wurde vom ICLR 2026 angenommen (das genaue Datum hängt vom Konferenzplan ab)
Gewichtsfreisetzung	2026-02	Bereitstellung von 1.3B FS-DFM und DFM-Checkpoint-Download vor dem Training

Das Projekt hat keine kommerziellen Versionsiterationen durchlaufen und alle Veröffentlichungen sind forschungsorientierte Open-Source-Versionen.

Technische Vorteile

• Schrittkonsistentes Training: Durch die Verwendung der Anzahl der Stichprobenschritte als expliziten Eingabeparameter teilt das Modell bei unterschiedlichen Schrittbudgets die gleichen Gewichtungen, wodurch die Notwendigkeit entfällt, für jeden Schritt ein separates Training zu konfigurieren. In technischer Hinsicht bedeutet dies, dass eine Schulungssitzung das gesamte Spektrum an Inferenzszenarien von extrem schnell (2–4 Schritte) bis hin zu hoher Qualität (64–128 Schritte) abdecken kann.

• Zuverlässige Aktualisierungsregel: Der diskrete Löser von FS-DFM steuert die Richtung der Wahrscheinlichkeitsübertragung durch die Energiebarriere (Energiebarriere) und arbeitet mit der stückweisen Normalisierung von DT zusammen, um sicherzustellen, dass jeder Schritt die Wahrscheinlichkeitsmasse in die „richtige Richtung“ bewegt, ohne zu überschießen. Im Vergleich zum üblichen Wahrscheinlichkeitsdriftproblem bei der herkömmlichen diskreten Diffusion verbessert dieser Mechanismus die Erzeugungsstabilität in Szenarien mit wenigen Schritten erheblich.

• Lehrer-Schüler-Destillation: Destillieren Sie Wissen aus der RK4-Lehrerbahn auf das Schülermodell, sodass das Schülermodell in sehr wenigen Schritten weiterhin eine qualitativ hochwertige Ausgabe aufrechterhalten kann. Das destillierte 8-Stufen-Modell ist hinsichtlich der Verwirrung mit dem 1024-Stufen-Lehrermodell vergleichbar und reduziert die Inferenzlatenz um zwei Größenordnungen.

• Flexible Solver-Auswahl: Unterstützt zwei Quellverteilungsstrategien, „uniform“ und „mask“, sowie mehrere ODE-Solver wie „mixture_euler“ und „mixture_euler_with_cumulative_scalar“. Forscher können sie nach unterschiedlichen Datenmerkmalen frei kombinieren.

Wie man es benutzt

FS-DFM wird als Open-Source-PyTorch-Projekt bereitgestellt und ist kein SaaS-Dienst. Vor der Verwendung müssen Sie die Umgebung Python 3.8+ und CUDA 11.0+ vorbereiten.

Installation

„Bash

Repository klonen

Git-Klon https://github.com/apple/ml-fs-dfm.git cd ml-fs-dfm

Conda-Kontext erstellen

conda env create -f fsdfm_environment.yml Conda aktiviert FSDFM

Entwicklungsmodus installieren

pip install -e . „

Modellbewertung

„Bash

Laden Sie vorab trainierte Gewichte herunter und führen Sie die Auswertung durch

python fs_dfm/run_eval.py \ --work_dir "/path/to/output" \ --ngpus 1 \ --perplexity_n_samples 320 \ --eval_elbo \ --eval_perplexity \ --pre_trained_model_path "/path/to/checkpoint.pth" „

Modeltraining

„Bash python fs_dfm/run_train.py \ data.cache_dir=${CACHE_DIR:-./cache_dir} „

Die wichtigsten Konfigurationsparameter befinden sich in „fs_dfm/configs/config.yaml“, einschließlich „sampling_steps“ (Anzahl der Probenahmeschritte), „source_distribution“ (Quellenverteilungstyp), „temperature“ (Probenahmetemperatur) usw.

Typischer Nutzungsprozess

Klonen Sie das Repository → Konfigurieren Sie die Umgebung → Laden Sie die vorab trainierten Gewichte herunter → Führen Sie das Evaluierungs-/Trainingsskript aus → Analysieren Sie die Ausgabeergebnisse. Vollständige Anweisungen finden Sie in der README-Datei des GitHub-Repositorys.

Produktpreise

FS-DFM ist ein reines Open-Source-Forschungsprojekt und beinhaltet keine kommerzielle Preisgestaltung:

Projekt	Kosten
Quellcode	Kostenlos (öffentliches GitHub-Repository)
Vortrainierte Gewichte (1,3B)	Kostenloser Download
Papierzugriff	Kostenlos (arXiv Open Access)
Kommerzielle Lizenz	Vorbehaltlich der Bedingungen der Warehouse-LIZENZdatei
Cloud-Argumentation	Kein offizieller Hosting-Dienst, Bereitstellung muss selbst erfolgen

Akademische und industrielle Forscher können alle Codes und Gewichte kostenlos erhalten, die für Training oder Inferenz erforderlichen GPU-Hardwareressourcen gehen jedoch zu Lasten des Benutzers.

Anwendungsszenarien

• Diffusion Language Model Research: Als Stichprobengrundlage in wenigen Schritten für die diskrete Flussanpassung, verwendet für Vergleichsexperimente, Ablationsstudien und die Entwicklung neuer Löser.
• Effiziente Generierung von Langtext: Geeignet für Szenarien, die die parallele Generierung langer Sequenzen erfordern (z. B. 1024 Token), aber empfindlich auf Latenz reagieren, z. B. Zusammenfassungsgenerierung, strukturierte Ausgabe und Codevervollständigung.
• Textinferenzdienst mit geringer Latenz: 8-stufiges Sampling komprimiert die Inferenzverzögerung von mehreren zehn Sekunden auf der Tausend-Schritte-Ebene auf die zweite Ebene, was für Online-Service-Backends mit hohen Echtzeitanforderungen geeignet ist.
• Feinabstimmung kleiner Stichproben und Domänenanpassung: Basierend auf 1,3B Gewichten vor dem Training kann es durch Feinabstimmung nachgelagerter Aufgaben schnell an bestimmte Bereiche (z. B. juristische Dokumente, medizinische Texte) angepasst werden.

Anwendbare Personen

• KI-Forscher (NLP/generative Modellrichtung): FS-DFM bietet eine vollständige Basis für diskrete Flow-Matching-Stichproben in wenigen Schritten und eignet sich als Referenzimplementierung und Vergleichsmethode für die Diffusionssprachenmodellforschung.
• Deep Learning Engineer: Interessiert an beschleunigter Textgenerierung mit Sampling in wenigen Schritten und benötigt eine reproduzierbare Open-Source-Lösung für die Evaluierung und Integration.
• Großes Modellinferenzoptimierungsteam: Ein Ingenieurteam, das mit dem Durchsatzengpass der autoregressiven Modellinferenz konfrontiert ist und nicht-autoregressive Alternativen untersucht.
• Studenten und akademische Einrichtungen: Kursprojekte, Abschlussprojekte oder akademische Erkundungen können auf Basis von Open-Source-Code und vorab trainierten Gewichten durchgeführt werden.

[Nicht für Grenzen geeignet]:

• Nicht für Endverbraucher (kein Web-UI, keine App, kein SaaS-Dienst). – Nicht geeignet für Szenarien, die einen ChatGPT-ähnlichen interaktiven Dialog erfordern (FS-DFM ist eher ein generatives Modell als ein Dialogmodell). – Nicht für Zero-Code-/Low-Code-Benutzer geeignet, erfordert PyTorch und Befehlszeilenfunktionen.
• Die direkte Generierung von Chinesisch wird nicht unterstützt (die Daten vor dem Training liegen hauptsächlich in Englisch vor und die Generierung von Chinesisch erfordert zusätzliche Feinabstimmung).

Zusammenfassung und Ausblick

FS-DFM ist eine wesentliche Weiterentwicklung von Apple auf dem Gebiet der diskreten Diffusionssprachmodelle. Durch die dreifache Kombination aus Schrittkonsistenztraining + zuverlässigen Aktualisierungsregeln + Lehrerdestillation werden die Stichprobenschritte des Diffusionssprachenmodells von Tausenden von Schritten auf einzelne Ziffern komprimiert, während die Qualität ohne Verschlechterung erhalten bleibt. Generierung von 1024 Token in 8 Schritten und 128-fache Beschleunigung der Perplexität, die mit der Tausend-Schritte-Basislinie identisch ist – diese Zahlen ermöglichen erstmals die nicht-autoregressive Textgenerierung in der Effizienzdimension, um mit autoregressiven Modellen zu konkurrieren.

Aus Branchensicht ist die Bedeutung von FS-DFM mehr als nur ein Top-Konferenzbeitrag: Es zeigt, dass der technische Weg des „Discrete Flow Matching“ die traditionelle diskrete Diffusion in Bezug auf das Potenzial für Kurzschritt-Sampling weit übertrifft und eine neue Paradigmenrichtung für die effiziente Textgenerierung in der Zukunft bietet. Wenn dieser Weg kontinuierlich auf größeren Modellmaßstäben (>10B) und komplexeren Aufgaben verifiziert werden kann, wird erwartet, dass sich das Architekturauswahlmuster im Bereich der Langtextgenerierung ändert.

[Beschaffungs-/Einführungsrisikobewertung]:

• FS-DFM ist ein reines Forschungsprojekt ohne kommerzielles SLA oder technischen Support. Der Produktionseinsatz erfordert, dass das Team die Engineering-Kosten trägt.
• Der Maßstab des 1.3B-Modells ist im aktuellen Ökosystem großer Modelle relativ klein und es kann in Bezug auf komplexe Argumentation und Befehlsfolgefähigkeiten nicht mit kommerziellen Modellen wie GPT und Claude konkurrieren. – Open-Source-Lizenzbedingungen müssen sorgfältig geprüft werden, um die Einhaltung in kommerziellen Szenarien sicherzustellen.
• Der Wartungsrhythmus des Projekts unterliegt dem Forschungsteam und langfristige Aktualisierungen oder Problemlösungen können nicht garantiert werden.
• Es wird empfohlen, es als „effizienzsteigernde Komponente für bestimmte Szenarien“ statt als allgemeine Textgenerierungsbasis zu positionieren und die Bewertung bei Aufgaben zu priorisieren, die verzögerungsempfindlich sind, lange Abläufe haben und kontrollierbare Qualitätsanforderungen haben.

Verwandte Tools: hugging-face, replicate

Versionsinfo

• ICLR 2026-Version ：Die Release-Version des Dokuments arXiv:2509.20624, das die vollständige Modellarchitektur und den Trainingscode von FS-DFM enthält, wurde in ICLR 2026 aufgenommen. （2025-09-24）
• Erster Commit ：Das Papier wurde zuerst auf arXiv veröffentlicht und gleichzeitig der Open-Source-Code veröffentlicht. （2025-09-24）