FS-DFM (Few-Step Discrete Flow-Matching) は、Apple とオハイオ州立大学が共同でリリースした数ステップの離散フロー マッチング言語モデルです。 8 ステップのサンプリングは 1024 ステップのベースライン品質に匹敵し、最大 128 倍の加速を実現します。

FS-DFM: 数ステップの離散流マッチングテキスト生成モデル

コアパラメータと統計

プロジェクト	詳細
製品名	FS-DFM (数ステップ離散フローマッチング)
製品タイプ	オープンソース研究モデル / 普及言語モデル
納品フォーム	PyTorch オープンソース コード
サポートされている言語	英語
開発組織	Apple ML Research / オハイオ州立大学
紙付き	ICLR 2026
オープンソースライセンス	Apple オープンソース ライセンスをカスタマイズする
モデルパラメータ	1.3B (事前にトレーニングされた重みが提供されます)

上記の情報は、arXiv:2509.20624 および GitHub リポジトリに基づいています。

FS-DFM (Few-Step Discrete Flow-Matching) は、Apple とオハイオ州立大学が共同で提案した離散フロー マッチング言語モデルです。主要なブレークスルーは次のとおりです。 従来の離散拡散モデルの 1024 ステップの複雑さレベルに到達するのに必要なサンプリングは 8 ステップのみで、最大 128 倍の生成加速を達成します。この成果により、普及言語モデルにおける「品質のための反復ステップの交換」という固有のボトルネックが解消され、長いテキストの生成が数分から数秒に圧縮されました。

一文での簡単なコメント: これはエンド ユーザー向けのチャット製品ではありませんが、Apple が離散拡散モデルを実用化するための重要な研究の進歩です。これは、「より少ないステップのサンプリング + フロー マッチング」が言語モデリング タスクのスループットに関して自己回帰モデルと競合できることを証明しています。

ユーザーと市場の認識

• 学術的評価: この論文はトップ国際会議 ICLR 2026 に組み込まれており、査読者は離散拡散言語モデルの数ステップ サンプリングの方向での大幅な進歩を評価しました。
• オープンソース エコシステム: GitHub リポジトリ apple/ml-fs-dfm は、完全な PyTorch 実装、事前トレーニング重み (1.3B)、トレーニングおよび評価スクリプトを提供しており、コミュニティは直接再現して二次開発することができます。
• メディアの注目: 複数の AI メディア (関連テクノロジーの解釈ビデオなど、数万件が視聴されています)。
• 技術的影響: FS-DFM によって提案された「明示的なパラメーター トレーニング + 教師蒸留 + カスタム離散ソルバーとしてのサンプリング ステップ」の組み合わせは、その後の離散拡散モデル研究に新しいベースラインを提供します。

コストメリット

コスト ディメンション	説明
モデルの重み	無料のオープンソースで、1.3B の事前トレーニング チェックポイントのダウンロードを提供
コード	完全にオープンソース、MIT のようなライセンス
トレーニング費用	GPU リソースが必要 (CUDA 11.0+)、トレーニングのコストはハードウェア構成によって異なります
推論コスト	8 ステップのサンプリングにより高品質を実現でき、推論コンピューティングの消費電力を 1,000 ステップのベースラインと比較して 128 倍削減できます。

FS-DFM の中核となるコスト値は、推論オーバーヘッドを O (1,000 ステップ) から O (8 ステップ) に削減することであり、これは展開シナリオにおけるレイテンシーとスループットの最適化に直接的な意味があります。研究者にとっては、完全にオープンソースのコードと重みにより、繰り返し実装するコストが不要になります。エンジニアリング チームにとって、数ステップのサンプリングの特性により、リアルタイム テキスト生成パイプラインへの統合が容易になります。

一連の FS-DFM モデルをトレーニングするには、依然として大規模な GPU クラスターのサポートが必要であることに注意してください。オープンソースによって提供される 1.3B の重みは、ほとんどの実験および微調整のニーズを満たすことができます。

主な機能

• 数ステップの離散フロー マッチング: サンプリング ステップ数を明示的なパラメーターとして使用してモデルをトレーニングすると、さまざまなステップ バジェットの下でモデルを安定して生成できます。 8 つのサンプリング ステップは、従来の 1024 ステップの離散フロー マッチングの複雑さのレベルに達する可能性があります。
• カスタム離散ソルバー: mixture_euler、mixture_euler_with_cumulative_scalarおよびその他の離散ソルバーを提供し、uniformとmaskの2つのソース分布をサポートします。
• 教師蒸留フレームワーク: 長い軌跡の教師モデルから数ステップの生徒モデルに知識を蒸留することにより、数ステップのサンプリングの品質が向上し、確率のオーバーシュートや勾配の不安定性が回避されます。
• フルプロセスのオープンソース ツール チェーン: 3 つの主要なモジュール (事前トレーニング、トレーニング、評価) が含まれます。 1.3B パラメーターの事前トレーニング チェックポイントを提供し、パープレキシティと ELBO 評価をサポートします。
• Transformer アーキテクチャのサポート: 標準の Transformer アーキテクチャに基づいて、構成可能な語彙サイズ、ドロップアウト正則化、分散トレーニングをサポートします。

[エキスパートビュー]: FS-DFM の本当のハイライトは、単純な速度の向上ではなく、その「ステップ一般化」設計です。モデルがステップの一貫性でトレーニングされた後、異なる遅延/品質要件に応じて同じ重みを柔軟に切り替えることができます。これは、エンジニアリング チームが、シナリオごとに独立したモデルを維持するのではなく、ハードウェア機能とリアルタイムの負荷に基づいて展開時にサンプリング ステップの数を動的に調整できることを意味します。この弾力性は、LLM サービス化の導入において非常に価値があります。

モデルとバージョンの進化

バージョン	日付	イベント
arXiv 最初のバージョン	2025-09-24	この論文は最初に arXiv:2509.20624 に公開されました。
GitHub オープンソース	2025-09-24	apple/ml-fs-dfm ウェアハウスは、完全なコードと重みを含めて同時に公開されます。
ICLR 2026 に承認	2026年1月	この論文は ICLR 2026 に受理されました (具体的な日付は会議のスケジュールによって異なります)。
ウェイトリリース	2026年2月	1.3B FS-DFM および DFM 事前トレーニング チェックポイントのダウンロードを提供

このプロジェクトは商用バージョンの反復を経ておらず、すべてのリリースは研究指向のオープンソース バージョンです。

技術的な利点

• ステップ一貫性のあるトレーニング: 明示的な入力パラメーターとしてサンプリング ステップ数を使用すると、モデルは異なるステップ バジェットの下で同じ重みのセットを共有するため、ステップごとに個別のトレーニングを構成する必要がなくなります。エンジニアリング用語で言えば、これは、1 つのトレーニング セッションで、非常に高速 (2 ～ 4 ステップ) から高品質 (64 ～ 128 ステップ) までの推論シナリオの全範囲をカバーできることを意味します。

• 信頼性の高い更新ルール: FS-DFM の離散ソルバーは、エネルギー障壁 (エネルギー障壁) を介した確率転送の方向を制御し、DT 区分正規化と連携して、各ステップがオーバーシュートすることなく確率質量を「正しい方向」に移動させることを保証します。従来の離散拡散における一般的な確率ドリフト問題と比較して、このメカニズムにより、数ステップのシナリオでの生成の安定性が大幅に向上します。

• 教師と生徒の蒸留: RK4 教師の軌跡から生徒モデルに知識を蒸留します。これにより、生徒モデルは非常に少ないステップ数で高品質の出力を維持できます。抽出された 8 ステップ モデルは、複雑さの点で 1024 ステップの教師モデルと同等であり、推論の待ち時間を 2 桁削減します。

• 柔軟なソルバー選択: 2 つのソース分散戦略、uniform と mask、および mixture_euler や mixture_euler_with_cumulative_scalar などの複数の ODE ソルバーをサポートします。研究者は、さまざまなデータの特性に応じてそれらを自由に組み合わせることができます。

使い方

FS-DFM はオープンソースの PyTorch プロジェクトとして提供されており、SaaS サービスではありません。使用する前に、Python 3.8以降およびCUDA 11.0以降の環境を準備する必要があります。

インストール

「」バッシュ

リポジトリのクローンを作成する

git clone https://github.com/apple/ml-fs-dfm.git cd ml-fs-dfm

condaコンテキストを作成する

conda env create -f fsdfm_environment.yml conda は FSDFM をアクティブにします

開発モードをインストールする

pip install -e 。 「」

モデルの評価

「」バッシュ

事前にトレーニングされた重みをダウンロードして評価を実行する

python fs_dfm/run_eval.py \ --work_dir "/出力先のパス" \ --ngpus 1 \ --perplexity_n_samples 320 \ --eval_elbo \ --eval_perplexity \ --pre_trained_model_path "/path/to/checkpoint.pth" 「」

モデルのトレーニング

「」バッシュ python fs_dfm/run_train.py \ data.cache_dir=${CACHE_DIR:-./cache_dir} 「」

主要な設定パラメータは、fs_dfm/configs/config.yaml にあります。これには、sampling_steps (サンプリング ステップの数)、source_distribution (ソース分布タイプ)、temperature (サンプリング温度) などが含まれます。

一般的な使用プロセス

リポジトリのクローンを作成する → 環境を構成する → 事前トレーニングされた重みをダウンロードする → 評価/トレーニング スクリプトを実行する → 出力結果を分析する。完全な手順については、GitHub リポジトリの README を参照してください。

製品の価格設定

FS-DFM は純粋にオープンソースの研究プロジェクトであり、商用価格は含まれません。

プロジェクト	コスト
ソースコード	無料 (GitHub パブリック リポジトリ)
事前にトレーニングされた重み (1.3B)	無料ダウンロード
ペーパーアクセス	無料 (arXiv オープンアクセス)
商用ライセンス	倉庫ライセンス ファイルの条件に従う
クラウド推論	公式のホスティング サービスがないため、自分で導入する必要があります。

学術研究者や産業界の研究者は、すべてのコードと重みをゼロコストで入手できますが、トレーニングや推論に必要な GPU ハードウェア リソースはユーザーの負担となります。

アプリケーションのシナリオ

• 拡散言語モデル研究: 離散流マッチングのための数ステップのサンプリング ベースラインとして、比較実験、アブレーション研究、新しいソルバー開発に使用されます。
• 長いテキストの効率的な生成: 長いシーケンス (1024 トークンなど) の並列生成が必要だが、概要の生成、構造化された出力、コード補完などの遅延の影響を受けやすいシナリオに適しています。
• 低遅延テキスト推論サービス: 8 ステップのサンプリングにより、推論遅延が 1,000 ステップ レベルでの数十秒から 2 番目のレベルに圧縮され、高いリアルタイム要件を持つオンライン サービス バックエンドに適しています。
• 小規模サンプルの微調整とドメイン適応: 1.3B の事前トレーニング重みに基づいて、下流タスクの微調整を通じて特定の分野 (法律文書、医学文書など) に迅速に適応できます。

該当する人

• AI 研究者 (NLP/生成モデルの方向性): FS-DFM は、数ステップのサンプリングに一致する離散フローの完全なベースラインを提供し、拡散言語モデル研究の参照実装および比較方法として適しています。
• ディープ ラーニング エンジニア: 数ステップのサンプリングによるテキスト生成の高速化に興味があり、評価と統合のための再現可能なオープンソース ソリューションを必要としています。
• 大規模モデル推論最適化チーム: 自己回帰モデル推論のスループットのボトルネックに直面し、非自己回帰の代替案を模索しているエンジニアリング チーム。
• 大学生および学術機関: オープンソース コードと事前トレーニングされた重みに基づいて、コース プロジェクト、卒業プロジェクト、学術探求を実行できます。

[境界線には適していません]:

• エンド消費者向けではありません (Web UI、アプリ、SaaS サービスはありません)。
• ChatGPT のような対話型対話を必要とするシナリオには適していません (FS-DFM は対話モデルではなく生成モデルです)。
• ゼロコード/ローコード ユーザーには適しておらず、PyTorch とコマンド ライン機能が必要です。
• 中国語の直接生成はサポートされていません (事前トレーニング データは主に英語であり、中国語の生成には追加の微調整が必​​要です)。

概要と展望

FS-DFM は、離散拡散言語モデルの分野における Apple による大幅な進歩です。 ステップ一貫性トレーニング + 信頼性の高い更新ルール + 教師蒸留の 3 つの組み合わせにより、拡散言語モデルのサンプリング ステップは、劣化することなく品質を維持しながら、数千ステップから 1 桁に圧縮されます。 8 ステップで 1,024 個のトークンを生成し、1,000 ステップのベースラインと同じパープレキシティで 128 倍の加速 - これらの数値により、効率の面で初めて自己回帰モデルと競合する非自己回帰テキスト生成が可能になります。

業界の観点から見ると、FS-DFM の重要性は単にカンファレンスのトップ論文にとどまりません。FS-DFM は、「離散フロー マッチング」の技術的ルートが、ショートステップ サンプリングの可能性の点で従来の離散拡散をはるかに超えていることを示し、将来の効率的なテキスト生成のための新しいパラダイムの方向性を提供します。このルートがより大きなモデル スケール (>10B) およびより複雑なタスクで継続的に検証できれば、長文生成の分野におけるアーキテクチャの選択パターンが変わることが期待されます。

[調達/採用リスク評価]:

• FS-DFM は純粋な研究プロジェクトであり、商用 SLA や技術サポートはありません。運用環境の展開では、チームがエンジニアリング コストを負担する必要があります。
• 1.3B モデルの規模は現在の大規模モデル エコシステムでは比較的小さく、複雑な推論や命令追従能力の点で GPT や Claude などの商用モデルと競合することはできません。
• 商用シナリオでのコンプライアンスを確認するには、オープンソースのライセンス条項を慎重に検討する必要があります。
• プロジェクトのメンテナンスのリズムは研究チームに依存しており、長期的な更新や問題への対応は保証されません。
• 一般的なテキスト生成ベースではなく、「特定のシナリオ向けの効率向上コンポーネント」として位置付け、遅延に敏感で、シーケンスが長く、制御可能な品質要件があるタスクでの評価を優先することをお勧めします。

関連ツール: hugging-face、replicate

バージョン情報

• ICLR 2026 バージョン ：FS-DFM の完全なモデル アーキテクチャとトレーニング コードを含む論文 arXiv:2509.20624 のリリース バージョンは、ICLR 2026 に含まれています。 （2025-09-24）
• 初期コミット ：この論文は最初に arXiv で公開され、オープンソース コードも同時に公開されました。 （2025-09-24）