FlowDirector は、ウェストレイク大学 AGI Lab とセントラル サウス大学によって立ち上げられた、トレーニング不要のビデオ編集フレームワークです。これは、常微分方程式 (ODE) ベースの編集フロー生成テクノロジーに基づいており、空間注意フロー補正 (SAFC) および微分平均ガイダンス (DAG) メカニズムと組み合わせて、高精度のセマンティック レベルのビデオ コンテンツ編集を実現します。オブジェクトの置換、テクスチャ変換、属性の変更などのタスクをサポートしており、追加のトレーニングなしで事前トレーニングされた T2V モデルを使用して編集できます。

フローディレクター

コアパラメータと統計

プロジェクト	情報
ツール名	フローディレクター
開発チーム	ウェストレイク大学 AGI Lab / セントラル サウス大学
コア入口	GitHub: github.com/Westlake-AGI-Lab/FlowDirector
納品形態	オープンソース研究フレームワーク (Python)
コア技術	ODE 駆動の編集フロー (編集フロー)、SAFC、DAG
ライセンス	オープン ソース (特定のライセンスについては GitHub リポジトリを参照)
必要な事前トレーニング モデル	主流の Text-to-Video (T2V) モデルと互換性
編集タイプ	オブジェクト置換、テクスチャ変換、属性変更、オブジェクト追加・削除

FlowDirector の主な貢献は、ビデオ編集における 2 つの長年の問題点、つまりタイミングの不一致と構造の歪みを解決することです。従来の方法は潜在空間反転に依存しているため、ビデオを潜在空間にエンコードしてからデコードするプロセス中に、タイミングのちらつきやコンテンツの歪みが発生する傾向があります。 FlowDirector は編集プロセスをデータ空間で直接モデル化し、ODE 駆動のスムーズな移行パスを使用して、逆マッピングによる情報損失を回避します。

ユーザーと市場の認識

• 学術的影響: この論文は、Westlake University AGI Lab と Central South University が共同で作成し、arXiv (2506.05046) に掲載されました。複数のビデオ編集ベンチマーク テストにおいて、FlowDirector は 3 つの重要な指標 (命令追従、時間的一貫性、バックグラウンド保存) において優れたパフォーマンスを示しました。
• オープンソース エコシステム: コードは GitHub でオープンソース化されており、コミュニティ開発者は実験を再現したり、二次開発を行ったり、自分のデータ セットへの影響を検証したりできます。オープンソースにより技術検証の敷居が低くなり、他の研究チームはベースライン比較に FlowDirector の結果を直接使用できます。
• 同様のフレームワークとの比較: InstructVideo、Video-P2P、TokenFlow などの既存のビデオ編集方法と比較して、FlowDirector の主な利点は、トレーニングが不要 (ビデオごとにモデルを微調整する必要がない) と構造の保存 (ODE フローは当然ながら逆マッピングより安定している) です。欠点は、現在は研究プロトタイプに重点が置かれており、すぐに使える製品レベルのツールにはまだ程遠いことです。

コストメリット

• 完全にオープンソースで無料: コードとモデルの重みは GitHub から入手でき、API 呼び出し料金はかかりません。必要なコンピューティング リソースは、実行中のデバイスの GPU 仕様によって異なります。メモリが大きいほど、処理できる解像度とフレーム レートも高くなります。
• 比較参考: 商用ビデオ編集ツール (Runway Gen-2、Pika Labs、Topaz Video AI など) は秒単位または月単位で請求され、30 秒の編集タスクのコストは数元から数十元の範囲です。 FlowDirector には直接的な使用コストはかかりませんが、GPU のコンピューティング能力のオーバーヘッドを負担する必要があります。すでに GPU デバイス (RTX 4090 以降) を持っている場合、1 回の編集を実行するのにかかる電気コストは無視できます。クラウド GPU レンタル (AutoDL およびその他のプラットフォーム) に依存している場合、1 回の編集のコストは 1 時間あたり約数元です。
• コストに敏感だが GPU リソースがあるチーム、またはバッチ編集シナリオで限界コストを制御する必要があるユーザーに適しています。

主な機能

• 正確なセマンティック編集: 自然言語の指示に基づいて、ビデオ コンテンツにセマンティック レベルの変更を加えます。たとえば、ビデオ内の「クマ」を「恐竜」に置き換えたり、「昼」を「夜」に変更したりします。編集プロセスでは、手動によるキーフレームの注釈やフレームごとの処理は必要ありません。
• 空間的および時間的一貫性の保護: 編集プロセス中にビデオの時間的一貫性と空間構造の整合性を維持します。これが FlowDirector の主要な競争力です。他の方法では、長いビデオ編集において画面のちらつきやコンテンツのずれが発生する傾向があります。 FlowDirector は、ODE ストリーミングを通じてこの問題をある程度軽減します。
• ローカル編集とグローバル保護: 空間アテンション フロー修正 (SAFC) メカニズムに基づいて、編集命令に関連する対象領域のみが操作され、対象外領域の元のコンテンツと動作ステータスは凍結されます。 AIに推測させるのではなく、ユーザーが「どこを変えるか」「どこを変えないのか」を正確にコントロールすることができます。
• トレーニングレス編集: 事前トレーニングされたテキストからビデオへの変換 (T2V) モデルを直接使用します。追加のモデル トレーニングや各ビデオまたは各編集タスクの微調整は必要ありません。新しいビデオの処理には 1 回の順方向パスのみが必要で、ビデオごとの微調整が必​​要な方法よりも時間と計算能力のコストが大幅に低くなります。
• 複数種類の編集サポート: オブジェクトの置換(車→ドラゴン)、テクスチャ変換(革→金属)、ローカル属性の変更(髪の色の変更)、オブジェクトの追加/削除(帽子の追加、人物の削除)など、さまざまな編集タスクをカバーします。

モデルとバージョンの進化

• arXiv 論文リリース (2025 年 6 月): 編集フロー生成、SAFC、DAG という 3 つの核となるイノベーションを含む FlowDirector テクノロジー ソリューションが初めて公開されました。複数のベンチマークの評価データを公開。
• GitHub オープン ソース: オープン ソース コード リポジトリは、推論コード、サンプル スクリプト、事前トレーニング重み呼び出しインターフェイスを含む論文と同期されています。
• 現在のバージョンは研究プロトタイプの段階にあり、商品化のロードマップはありません。その後の反復の方向には、より高い解像度のサポート (現在は GPU メモリによって制限されている)、より多くの T2V モデル ベースの統合、コンピューティング リソース要件の削減などが含まれる場合があります。

技術的な利点

• データ スペース編集フロー: 潜在空間逆マッピングに依存せず、元のピクセル空間でソース ビデオとターゲット ビデオ間のスピード フィールドの差を直接計算し、スムーズな編集パスを生成します。これにより、逆マッピング方法によくある構造の歪みが根本的に回避されます。たとえば、前者は元の画像に直接変更されますが、後者はサムネイルに圧縮され、その後解凍されて変更されます。情報損失の違いは決定的です。
• 空間アテンション フロー補正 (SAFC): 編集タスクに関連するアテンション マップを抽出し、正確な空間マスクを生成します。 ODE 駆動の編集プロセス中に、マスクが速度フィールドに重ね合わされ、非ターゲット領域の速度フィールド コンポーネントがフリーズされ、背景および無関係な領域の元の状態が保護されます。 SAFC の直感的な理解: モデルはどこに注意を向けるべきかを認識しており、「焦点を当てた」領域のみを変更します。
• 差分平均ガイダンス (DAG): 分類子不要のガイダンスからインスピレーションを得たもので、複数の候補編集ストリームを生成し、それらの間の差分信号を計算し、差分信号を使用してセマンティック アラインメントの精度を高めます。説明: 単一の編集結果を信頼するよりも、ランダムなバイアスを減らすために、複数の候補ソリューションの中から「合意の方向性」を見つける方が良いでしょう。

使い方

FlowDirector の使用法は研究と技術検証に偏っており、Web アプリケーションにはパッケージ化されていません。

コードを取得: 「」 git clone https://github.com/Westlake-AGI-Lab/FlowDirector.git 「」

環境に応じて: -Python 3.8+

• PyTorch (2.0 以降を推奨)
• CUDA (11.8以降を推奨)
• 事前トレーニングされた T2V モデルの重み

一般的な手順:

1. Python 環境を構成し、ウェアハウスの README に従って依存関係をインストールします。
2. 互換性のある事前トレーニング済み T2V モデル チェックポイントをダウンロードします。
3. ビデオを入力し、説明文を編集する準備をします。
4. 編集スクリプトを実行します。入力ビデオ パス、編集プロンプト、出力パス、パラメータ設定を指定します。
5. 推論が完了するまで待ち、出力ディレクトリで編集結果を確認します。

技術的なしきい値の説明: FlowDirector は現在、深層学習の背景を持つ研究者およびエンジニアを対象としています。これを実用化する必要がある場合は、Streamlit または Gradio Web インターフェイスにカプセル化するか、ComfyUI ノード エコシステムに統合することを検討できます。

製品の価格設定

プロジェクト	説明
ソフトウェアライセンス	完全にオープンソースで無料
コンピューティングリソース	GPU をご持参いただく必要があります (RTX 4090 以上を推奨)
クラウドGPUソリューション	レンタル料金は 1 時間あたり約 2 ～ 8 元 (インスタンスの仕様によって異なる) で、1 回の編集に数分から数十分かかります。
商用ライセンス	GitHub リポジトリ	の特定のオープン ソース ライセンス条項を確認してください。

商用ビデオ編集 API (Runway の秒単位の課金など) と比較して、FlowDirector はバッチおよび高頻度の編集シナリオにおいて限界コストの利点があります。コンピューティング能力への固定投資の後、追加編集の増分コストはゼロに近づきます。

アプリケーションのシナリオ

• ビデオ特殊効果制作: テキスト コマンドを使用して、ビデオ内の通常のオブジェクトを特殊効果要素に置き換えます。映画およびテレビ業界の初期の概念実証段階で、FlowDirector を使用すると、特殊効果アーティストが各バージョンのサンプルに何時間も費やすことなく、編集効果を評価するためのサンプルを迅速に生成できます。
• 広告ビデオの迅速な反復: コピーライティングの変更に応じてビデオ コンテンツを迅速に調整します - 製品の外観を置き換え、背景コンテキストを変更します。広告代理店は、複数の編集プランのサンプルを同時に比較し、最適なプランを選択して、最終的な制作段階に入ることができます。
• アニメーションとゲームのマテリアル: 短編アニメーションのキャラクターの外観やシーンのスタイルをすばやく変更し、フレームごとに手動で調整する作業負荷を軽減します。独立したアニメーターや小規模なゲーム スタジオが、プロトタイピングの初期段階でビジュアル ソリューションを迅速に検証するのに適しています。
• 短編ビデオ コンテンツ制作: コンテンツ作成者は、既存のビデオ素材に二次的なクリエイティブ編集を行います。日常の風景をサイバーパンク風に変えたり、現実のビデオにファンタジー要素を追加したりします。編集には数分から 10 分かかります。これは、従来のフレームごとの処理よりも 1 ～ 2 桁高速です。
• パーソナライズされたビデオ編集: 個々のユーザーは、自分の創造的なアイデアに従って、ペットのビデオや旅行のショート フィルムの要素を変更して、より興味深いものにすることができます。 GPU デバイスのサポートが必要ですが、編集プロセスに専門的なスキルは必要ありません。

該当する人

• AI 研究者およびコンピューター ビジョン エンジニア: FlowDirector のターゲット ユーザー グループ。論文の結果を再現し、ソースコードに基づいてアルゴリズムを改善し、独自のデータセットに対する編集効果を検証できます。
• 映画およびテレビのポストプロダクション特殊効果アーティスト: AI ビデオ編集テクノロジに興味があり、それをワークフローに組み込みたいと考えている技術的な特殊効果担当者。構成して使用するには特定の Python 基盤が必要ですが、編集効果を初期のクリエイティブな提案に組み込むことができます。
• AI コンテンツ クリエイターおよび独立系開発者: GPU リソースを所有し、最先端のビデオ編集テクノロジーを試してみたいと考えている人。 FlowerDirector の編集品質は、トレーニング不要の同等の手法の中でトップレベルにあり、バッチビデオ処理パイプラインの基本コンポーネントとして適しています。

境界は適用されません:

• リアルタイムまたはほぼリアルタイムの処理速度が必要なシナリオ - FlowDirector の推論には数分かかるため、ライブ ブロードキャストやリアルタイム編集には適していません。
• 4K 以上の画質に対する厳しい要件があります。現在、GPU メモリによって制限されているため、出力解像度も制限されています。
• 技術者以外のユーザー - 現在、Web 製品としてパッケージ化されていないため、コマンド ライン操作や Python 限定構成の敷居が高くなります。
• 出力結果の商業著作権に関する厳しい要件があるプロジェクト - AI によって生成/編集されたコンテンツの著作権所有権は、依然として法的にグレーゾーンです。

概要と展望

FlowDirector は、ビデオ編集の分野におけるシンプルで効果的な技術ソリューションを提案します。データ空間 ODE フローを使用して潜在空間逆マッピングを置き換え、タイミングの不一致や構造的な歪みの問題をアーキテクチャ レベルから解決します。 SAFC と DAG は両方とも、それぞれ「編集領域の正確な配置」と「強化されたセマンティック アラインメント」という 2 つの側面から信頼性を向上させます。研究者にとって、これは明確なアイデアを備えたベースラインのフレームワークです。実際のプロジェクトにビデオ編集機能を実装したいと考えているチームにとって、トレーニングなしでビデオ編集の品質が実用的なレベルに到達できることが証明されました。

現在の制限事項:

• これはまだ研究プロトタイプであり、商業的に展開できる製品形態にはパッケージ化されていません。
• GPU メモリの要件が高いため、ビデオ解像度と処理できるフレーム数が制限されます。
• ユーザーは、環境の構成、パラメータの調整、問題のトラブルシューティングを行うために、独自の技術的能力を持ち込む必要があります。

経過観察ポイント:

• チームがそれを ComfyUI ノードまたは Web サービスとしてカプセル化するかどうか - これは実用性の程度を直接決定します。
• 高解像度および長いビデオをサポートするかどうか - これにより、映画やテレビの制作プロセスに参加できるかどうかが決まります。
• コミュニティへの貢献とフォークの数は、オープンソース エコシステムの健全性を反映しています。

関連ツール: runway、pika

バージョン情報

• 初期リリース ：初期公開バージョンは、正確なセマンティック ビデオ編集 SAFC ローカル保護メカニズムと、ODE 編集フローに基づく DAG セマンティック拡張をサポートしています。 （~2025-06）
• ペーパーリリース ：arXiv ペーパーがリリースされ、技術的な詳細とベンチマーク結果が開示されています。 （~2025-06）